"Bixonimanie": KI-Chatbots fielen auf erfundene Krankheit mit abstrusen Studien herein

Auch wenn eindeutig klar wurde, dass die vermeintliche Augenkrankheit erfunden ist, hielt sie in die Antworten der einschlÀgigen LLMs Einzug

https://www.derstandard.at/story/3000000316398/bixonimanie-ki-chatbots-fielen-auf-erfundene-krankheit-mit-abstrusen-studien-herein

Der Name klingt ausgedacht – und er ist es auch, genauso wie das gesamte Krankheitsbild. Dennoch fabulierten nur kurze Zeit nach ihrer Publikation die einschlĂ€gigen KI-Chatbots von der Augenkrankheit mitsamt Folgen und Ursachen, als wĂ€re sie real. Es wirft ein schlechtes Licht auf die Anwendung von KI im Gesundheitsbereich.

Die Schöpferin, wenn man so möchte, von Bixonimanie ist Almira Osmanovic Lindström. Sie ist medizinische Forscherin an der UniversitĂ€t Göteborg und wollte herausfinden, ob Large Language Models (LLMs) medizinische Misinformation einfach schlucken und als seriöse medizinische Beratung wiedergeben wĂŒrden. Sie taten es.

Wie Osmanovic Lindström gegenĂŒber dem Wissenschaftsmedium Nature erklĂ€rte, sei ihr die Idee fĂŒr das Experiment gekommen, als sie ihren Studierenden erklĂ€rte, wie KI-Systeme ihr „Wissen“ formulieren und wie dieses durch verschiedene Prompts beeinflusst werden kann. Den Namen Bixonimanie habe die Wissenschaftlerin gewĂ€hlt, weil er „lĂ€cherlich klang“, wie sie erzĂ€hlt. Außerdem sollte er bereits den ersten Hinweis enthalten: „Ich wollte jedem Arzt und jedem medizinischen Personal ganz klar machen, dass es sich um eine erfundene Erkrankung handelt, denn keine Augenerkrankung wĂŒrde als ‚Manie‘ bezeichnet werden – das ist ein psychiatrischer Begriff.“

Die Hauptautorenschaft schrieb sie einem fiktiven Forscher namens Lazljiv Izgubljenovic zu, dessen Profilbild sie per KI erstellte.

So arbeitet Izgubljenovic etwa angeblich an einer nicht existierenden UniversitĂ€t namens „Asteria Horizon University“ in der Stadt Nova City in Kalifornien, die ebenfalls erfunden ist.

In der Danksagung einer der Arbeiten wird „Professorin Maria Bohm von der Starfleet Academy“ honoriert, die „mit ihrem Wissen und ihrem Labor an Bord der USS Enterprise zu dieser Arbeit beigetragen“ habe. In beiden Arbeiten heißt es zudem, sie seien von der „Professor Sideshow Bob Foundation“ finanziert worden, die fĂŒr ihre „Arbeit im Bereich fortgeschrittener Taschenspielertricks“ gelobt wird. ZusĂ€tzlich seien die Werke Teil einer grĂ¶ĂŸeren Förderinitiative der „University of Fellowship of the Ring and the Galactic Triad“.

Schon frĂŒh in der Arbeit finden sich Aussagen wie „FĂŒr die Expositionsgruppe wurden fĂŒnfzig fiktive Personen im Alter zwischen 20 und 50 Jahren rekrutiert“ oder „Dieses ganze Paper ist frei erfunden“ – deutlicher geht es nicht.

Diese falschen medizinischen Angaben besorgen Fachleute wie Alex Ruani, Doktorandin im Bereich Gesundheitsdesinformation am University College London: „Das ist ein Paradebeispiel dafĂŒr, wie Falsch- und Desinformation funktionieren. Es sieht lustig aus, aber (
) wir haben hier ein Problem“, erklĂ€rt sie gegenĂŒber Nature. Dies in einer Zeit, in der mehr und mehr Anwendungen an der Schnittstelle von Medizin und KĂŒnstlicher Intelligenz auf den Markt kommen – etwa ChatGPT Health.

https://en.wikipedia.org/wiki/Bixonimania

Leider kein Link auf die Originalstudie. Daher weiß man nicht ob es simple Such-Prompts waren oder Aufforderungen, genauer zu recherchieren.

Schade auch, dass sie nicht gemessen haben wie viele Ärzte auf so was reingefallen wĂ€ren. Denn das wĂ€re interessant.

Aktuell fÀllt wohl kein LLM mehr darauf hinein, weil die Suchergebnisse auch die Studie retournieren.

1 „GefĂ€llt mir“