„Agentic AI“ beantwortet nicht nur Fragen, sondern trifft Entscheidungen. Wie diese Systeme funktionieren, wo sie eingesetzt werden – und welche rechtlichen Risiken bestehen
Um gleich alle Missverständnisse zu vermeiden :
Die Formulierungen außerhalb der grau hinterlegten Textabschnitte (mit Zitaten aus dem verlinkten Zeitungsartikel) stellen meine persönliche Meinung - eines juristischen Laiens - dar.
In der Medizin ermöglichen agentische KI-Systeme eine neue Dimension der Unterstützung klinischer Entscheidungsprozesse.
…
Das System ist somit in der Lage, evidenzbasierte und zugleich personalisierte Therapieoptionen vorzuschlagen.
Besonders relevant ist dies bei Krebs oder anderen Multi-System-Erkrankungen, für die Entscheidungen interdisziplinär getroffen werden und häufig den Horizont einzelner Ärztinnen und Ärzte übersteigen.
Agentische KI darf dabei ärztliche Verantwortung nicht ersetzen, sondern muss als Unterstützung für Entscheidungsprozesse verstanden werden.
KI-Agenten werfen im Hinblick auf ihre proaktive Vorgangsweise eine Reihe rechtlicher Fragen auf.
Diese Formulierung „proaktive Vorgangsweise“ steht in Widerspruch zu allen weiter oben stehenden Formulierungen:
„Unterstützung klinischer Entscheidungsprozesse“, „Therapieoptionen vorzuschlagen“, „Agentische KI darf dabei ärztliche Verantwortung nicht ersetzen“,
KI Agenten dürfen gar nicht sebstständig „vorgehen“ (auch nicht nach Auftrag) , sondern lediglich Vorschläge liefern und Unterstützung anbieten - die auch abgelehnt werden kann oder manchmal sogar abgelehnt werden muss.
Vor allem ist zu klären, inwieweit der Agent als Gehilfe angesehen wird. Während das für bisherige KI abgelehnt wurde, die man als reines Werkzeug betrachtet hat, könnte das bei autonomen KI-Agenten anders gesehen werden. Denn nun verwenden diese ihrerseits Werkzeuge.
Ein Agent darf autonom keine Handlungen setzen ; Keine Patienten autonom behandeln, aber auch keine Rechtsgeschäfte (z.B. Warenbestellungen , Buchung von Reisen bzw Unterkünften, Kongressteilnahme u.ä. ) autonom abschließen.
Auch Ergebnisse von KI -Agenten dürfen - genauso wie Antworten aus KI-Chatbots nur als Vorschläge und Anregungen verstanden bzw. verwendet werden.
Betrachtet man Agenten nämlich als Gehilfen, so hätte der Nutzer auch dann für deren Fehler zu haften, wenn ihn selbst keinerlei Verschulden trifft.
Ein Agent hat genauso , wie ein KI-System, keine eigene Rechtspersönlichkeit, kann daher auch keine rechtswirksamen Handlungen setzen und dafür daher auch nicht haften. Ein KI-Agent ist genauso , wie ein KI- System bzw. ein KI-Chatbot oder ein beliebiges anderes Tool nur ein Werkzeug für den Menschen (bzw. Benutzer ) der es einsetzt.
Es trift den Benutzer jedenfalls aus zweierlei GrĂĽnden Verschulden :
-
weil ein von ihm beauftragter KI-Agent einen Fehler gemacht hat
-
weil der Benutzer seine persönlich wahrzunehmende Verantwortung ( durch eigene, persönliche , Entscheidung bzw. eigenes ,persönliches, Handeln ) an den KI-Agenten abgeben wollte
und es kann sogar noch einen weiteren Grund fĂĽr ein Verschulden des Benutzers geben :
-
weil der Benutzer den KI-Agenten vielleicht mit Fragestellungen bzw Aufgaben betraut hat , fĂĽr die dieser ( bzw. die vom beauftragten KI-Agent hinzugezogenen weiteren KI-Agenten bzw. KI-Systeme / und andere Tools ) vom jeweiligen Hersteller gar nicht vorgesehen und zugelassen waren.
Wird also ein KI-Agent zB damit betraut, eine medizinische Behandlung zu planen und kommen dabei Patienten zu Schaden, so wäre dafür auch dann zu haften, wenn den behandelnden Ärzten nicht erkennbar war, dass der Behandlungsplan mangelhaft war.
.- Und wäre vermutlich wieder nahezu das gleiche Problem zu erwarten, wie beim kontrollierten vollautonomen Fahren mit einem Kontrollfahrer im Fahrzeug, der jederzeit bereit sein muss, fehlerhafte/gefährliche Entscheidungen des vollautonom fahrenden Fahrzeuges korrigeren zu können :
Dass die Arbeit mit „Unterstützung“ durch KI vermutlich auch hier als anstrengender und „Nerven aufreibender“ empfunden werden würde, als ohne ihre Unterstützung.
Abgesehen davon ist bei KI-Agenten im klinischen Bereich auch zu berücksichtigen, dass Medizin vom Artificial Intelligence Act als Hochrisikoanwendung angesehen wird. Das bringt viele Anforderungen mit sich, zB auch den Einsatz eines „Human in the Loop“, eines Menschen, der über KI- und Fachkompetenz verfügt und humanoide Aufsicht über potentiell gefährliche KI-Anwendungen garantieren soll.
„humanoide“ Aufsicht (durch humanoide Roboter) genügt sicher nicht.
Es bedarf unbedingt menschlicher (humaner) Aufsicht durch gut ausgebildete physische Menschen und nicht durch Computer bzw. Maschinen, die Menschen nur simulieren und ähnlich schauen .
Wie weit das konkret zu gehen hat, ist allerdings schon bei herkömmlicher KI nicht genau definiert.
Mittlerweile soll es aber schon erste einschlägige Gerichtsurteile geben und der Mensch für fehlerhafte Ergebnisse der KI allein verantwortlich sein, der KI eingesetzt - bzw. benutzt - hat.
Bei autonomen Agenten ist die Frage noch offener.
Vielleicht gibt es nur noch keine Gerichtsurteile .
Offene Fragen gibt es hier meiner Meinung nach nicht mehr.