Aurora, Colorado – Künstliche Intelligenz (KI) hat in Arztpraxen Einzug gehalten, unabhängig davon, ob Ärzte sich darauf vorbereitet fühlen oder nicht. KI könnte zu einer genaueren, effizienteren und kostengünstigeren Versorgung führen. Aber sie könnte auch Schaden anrichten. Das sagte Dr. Benjamin Collins vom Vanderbilt University Medical Center in Nashville, Tennessee. Er sprach auf dem 2023 Society of General Internal Medicine (SGIM) Annual Meeting über dieses Thema [1].
„Als ich das Konzept für diesen Workshop eingereicht habe, gab es noch kein ChatGPT“, sagte Collins. Er bezog sich damit auf Chat Generative Pre-trained Transformer, ein kürzlich veröffentlichtes Modell zur Verarbeitung natürlicher Sprache. „Es hat sich bereits viel verändert.“
KI: Schlechte Daten – schlechte Ergebnisse
Verzerrte Daten seien vielleicht der größte Fallstrick für KI-Algorithmen, so Collins. Wenn Datenmüll hineingehe, komme nur „Vorhersage-Müll“ heraus.
Wenn der Datensatz, mit dem ein Algorithmus trainiert wird, beispielsweise ein bestimmtes Geschlecht oder eine bestimmte ethnische Gruppe unterrepräsentiert, reagiert der Algorithmus möglicherweise nicht richtig. Wenn ein KI-Tool bestehende Ungleichheiten in Bezug auf den sozioökonomischen Status, die ethnische Zugehörigkeit oder die sexuelle Orientierung verstärkt, ist der Algorithmus voreingenommen.
„Menschen gehen oft davon aus, dass künstliche Intelligenz aufgrund der Anwendung wissenschaftlicher Verfahren und ihrer Entwicklung frei von Verzerrungen ist“, sagte Collins. „Aber jegliche Fehler in der Datenerfassung und veraltete Daten können zu einer schlechten Repräsentation oder Unterrepräsentation in den Daten führen, die zum Training des KI-Tools verwendet werden.“
Da ethnische Minderheiten in Studien unterrepräsentiert sind, könnte die Eingabe von Daten in ein KI-Tool die Ergebnisse für diese Patienten verzerren. Die Framingham Heart Study zum Beispiel, die 1948 initiiert worden ist, untersuchte Herzkrankheiten bei überwiegend weißen Teilnehmern. Ergebnisse der Studie haben zur Entwicklung eines geschlechtsspezifischen Algorithmus geführt, der zur Schätzung des 10-Jahres-Risikos eines Patienten für Herz-Kreislauf-Erkrankungen verwendet wurde. Während der kardiovaskuläre Risikoscore für weiße Personen genau war, erwies er sich für schwarze Patienten als weniger präzise.
Und eine 2019 in Science veröffentlichte Studie deckte Verzerrungen in einem Algorithmus auf, der Gesundheitskosten als Indikator für den Gesundheitsbedarf verwendete. Da für schwarze Patienten bei gleichem Bedarf weniger Geld ausgegeben wurde als für weiße Patienten, zeigte das Ergebnis fälschlicherweise, dass schwarze Patienten gesünder waren und daher keine zusätzliche Versorgung benötigten.
Der Faktor Mensch
Auch die Entwickler eines Algorithmus können eine Quelle für Verzerrungen sein, da die KI häufig menschliche Vorurteile widerspiegele, so Collins. „Algorithmische Voreingenommenheit stellt ein klares Schadensrisiko dar, das Ärzte gegen die Vorteile des Einsatzes von KI abwägen müssen. Dieses Schadensrisiko ist oft überproportional auf marginalisierte Bevölkerungsgruppen verteilt.“
Sobald Ärzte KI-Algorithmen zur Diagnose sowie zur Vorhersage von Behandlungsergebnissen und zur Steuerung der Behandlung einsetzen, kommt es zu Problemen, wenn Algorithmen bei einigen Patienten gut und bei anderen schlecht abschneiden. Diese Diskrepanz kann bestehende Ungleichheiten bei den Ergebnissen der Gesundheitsversorgung verschärfen.
KI darf keine „Black Box“ sein
Collins riet Ärzten, sich um Informationen über Trainingsdaten von KI-Algorithmen zu bemühen, um festzustellen, inwieweit Verzerrungen das Modell beeinflussten und ob die Entwickler eine Risikoadjustierung für Verzerrungen vorgenommen hätten. Stehen Trainingsdaten nicht zur Verfügung, sollten Ärzte ihre Arbeitgeber und KI-Entwickler fragen, um mehr über das System zu erfahren.
Ärzte würden mit dem so genannten Black-Box-Phänomen konfrontiert. Dieses trete auf, wenn Entwickler nicht erklären könnten oder wollten, welche Daten in ein KI-Modell eingeflossen seien, so Collins.
Nach Angaben der Stanford University muss ein KI-Algorithmus anhand großer Datensätze von Bildern trainiert werden, die von menschlichen Experten annotiert worden sind. Die Erstellung solcher Datensätze kann Millionen von Dollar kosten, weshalb sie oft von Unternehmen finanziert werden, die ihre Daten nicht immer öffentlich zugänglich machen.
Einige Gruppen, etwa Forscher am Center for Artificial Intelligence in Medicine and Imaging in Stanford, arbeiten an der Beschaffung kommentierter Datensätze. So können die mit dem Training von KI-Modellen betrauten Wissenschaftler erfahren, woher die Daten stammen.
Dr. Paul Haidet, Internist am Penn State College of Medicine in Hershey, Pennsylvania, sieht die Technologie als ein Werkzeug, das einen sorgfältigen Umgang erfordere. „Man braucht eine Weile, um den Umgang mit einem Stethoskop zu erlernen, und so ist es auch mit der KI“, weiß Haidet. „Das Besondere an der KI ist aber, dass man sie einfach in ein System einbauen kann, ohne dass jemand weiß, wie es funktioniert.“
Haidet sagte, dass er gerne wüsste, wie das Ganze ablaufe: etwas, das KI-Entwickler oft nur ungern preisgäben. „Wenn man einfach blindes Vertrauen in ein Tool setzt, ist das beängstigend“, sagte Haidet.
Plädoyer für mehr Transparenz
Um das Vertrauen in Gesundheitssysteme nicht zu verlieren, sei es, wie Collins betont, unerlässlich, Abläufe in den Tools zu erklären.
„Wichtig für die Entscheidung, wie viel Vertrauen man in ein System setzen kann, sind die Transparenz dieses Systems und die Möglichkeit, zu prüfen, wie gut der Algorithmus funktioniert“, so Collins. „Das System sollte den Nutzern auch regelmäßig mitteilen, mit welchem Grad an Sicherheit es ein Ergebnis liefert, statt einfach ein binäres Ergebnis zu liefern.“
Collins sagt, Anbieter sollten sich auch mit den Grenzen der KI-Vorschriften vertraut machen und sich beispielsweise darüber zu informieren, wie das System zugelassen worden sei und wie es überwacht werde.
„Die FDA hat die Aufsicht über einige Anwendungen von KI als Medizinprodukt-Software, aber es gibt derzeit kein spezielles Verfahren, um die Systeme auf das Vorhandensein von Verzerrungen zu prüfen“, weiß der Experte. „Lücken in der Regulierung lassen die Tür offen für den Einsatz von erheblich verzerrter KI in der klinischen Versorgung.“
Haidet verglich KI-Tools mit dem Global Positioning System: Ein gutes GPS-System zeige den Nutzern alternative Routen an, vermeide Mautstraßen oder Autobahnen und zeige an, warum sich die Routen geändert hätten. Aber Nutzer müssten die Karte selbst lesen, um zu erkennen, dass etwas vielleicht nicht stimme.
Der Beitrag ist im Original erschienen auf Medscape.com.
Fanden Sie diesen Artikel interessant? Hier ist der Link zu unseren kostenlosen Newsletter-Angeboten – damit Sie keine Nachrichten aus der Medizin verpassen.
Credits:
Photographer: © Wrightstudio
Lead Image: Dreamstime
Medscape Nachrichten © 2023 WebMD, LLC
Diesen Artikel so zitieren: Schlechte Datensätze und voreingenommene Entwickler: Mit diesen Schwächen haben KI-Algorithmen momentan zu kämpfen - Medscape - 5. Sep 2023.
Kommentar