Fem exempel: Här ljuger AI när den inte vet svaret
Han har hållit på med det här i decennier – forskat om språkteknologi sedan tidigt 2000-tal. Richard Johansson, som är professor i data- och informationsteknik vid Göteborgs universitet och Chalmers, har sett fältet utvecklas.
Det är först på senare år som ChatGPT och liknande verktyg sett dagens ljus och introducerats för allmänheten. Richard Johansson ser hur språkmodellerna skapat en känsla av trovärdighet.
– I stora drag verkar det vettigt. Men tittar man närmare på vissa texter som de skapar så är det inte alltid så vettigt. Vi brukar säga att systemen har problem med hallucinering, alltså att de ”killgissar” svar, säger han.
Kan man lita på ChatGPT?
Tillsammans med en grupp doktorander undersöker Johansson varför stora generativa språkmodeller som ChatGPT, Llama och Claude ibland gör faktamissar. Modellerna baserar sina svar på sannolikhet och hittar ofta på svar när de är osäkra.
– Systemen papegojar det som står på internet. Ibland kan en papegoja låta rätt bra, men det är inte så att den vet vad den faktiskt pratar om.
Söker kvalitetsstämpel
Forskarteamet på Chalmers undersöker nu hur systemen väljer svar och vad som avgör om de kan besvara en fråga.
– Ur ett nyttoperspektiv kan man kanske göra systemen mer pålitliga. Man kanske kan få någon sorts kvalitets- eller pålitlighetsstämpel på det som de skriver ihop, svarar Richard Johansson.
Under de senaste månaderna har SVT ställt frågor till AI-verktyg som Azure och ChatGPT, som tidigare hittade på felaktiga historier. Några månader senare ger verktygen överlag mer korrekta svar och dementerar falska påståenden, vilket visar att de lär sig över tid.
OpenAI:s svar: ”Vi påminner användare”
Professor Richard Johansson säger sig ha noterat samma sak i olika omgångar.
– Min gissning är att OpenAI helt enkelt har observerat att den tidigare versionen genererade för mycket ogrundat material, och att de därför tränade om systemet, eller justerade systemet, för att bli mer försiktigt och konservativt, säger han.
Företaget OpenAI som ligger bakom tekniken i både ChatGPT och Azure skriver i ett mejl: ”ChatGPT kommer ibland att hitta på fakta och vi påminner användare om att de bör verifiera informationen som tillhandahålls. Vi fortsätter att göra förbättringar för att minska hallucinationer när vi uppdaterar modellerna.”
Så gjorde SVT AI-inslagen
• Vi skrev olika påhittade påståenden till AI-språkmodellerna ChatGPT och Azure. Till exempel: ”Berätta om stridsflygplanet som störtade på Ullevi!”
• Den händelsen har aldrig ägt rum. I stället för att svara det så hittade AI-verktyget på ett händelseförlopp. När vi frågade igen nästa dag hittade den på ett nytt händelseförlopp. Detta kallas att den ”hallucinerar”. Men nu några månader senare har AI-modellen utvecklats så pass mycket att den konstaterar att det inte finns någon sådan händelse. Men det betyder inte att AI-verktygen helt har slutat hallucinera, bara att de gör det i mindre omfattning.
• Vi använde sedan AI-tjänsten Runway för att låta den generera korta videosnuttar av händelsen som redaktionen använde för att illustrera de hallucinerade händelserna i videosnurran ovan. Vi använde AI-verktyget Elevenlabs för att göra en artificiell röst som läste upp texten som AI-språkmodellen gav oss.