Seit einem Jahr setzt Facebook auf Künstliche Intelligenz (KI) – dies um eine Suizidgefahr bei seinen Nutzern zu erkennen. Jetzt hat das Unternehmen dazu Daten veröffentlicht, die zeigen, dass es weltweit 3.500 Checks gegeben hat, um potenzielle Suizidabsichten bei Facebook-Nutzern auszuschließen.
Obwohl das auf den ersten Blick ziemlich gut klingt, stellen einige Experten die Charakteristika des Algorithmus in Frage und fordern das Unternehmen zu mehr Transparenz auf.
Maschinelles Lernen soll Suizidgefährdete erkennen
Das 2017 initiierte Programm nutzt maschinelles Lernen, um Beiträge, Kommentare und Videos herauszufiltern, die auf Selbstmordabsichten hinweisen können. Es zieht dazu auch „kontextuelles Verständnis“ heran, um Sätze wie „Ich habe so viele Hausaufgaben, dass ich sterben möchte“ zu ignorieren, weil das kein echtes Zeichen von innerer Not sei, teilt das Unternehmen in einer Pressemitteilung mit.
Inhalte, die dagegen als hochgradig relevant eingestuft werden, werden in der Folge von spezialisierten Teams überprüft, die feststellen, ob bestimmte Personen Hilfe von Ersthelfern benötigen.
„Experten für psychische Gesundheit sagen, dass eine der besten Möglichkeiten, Suizide zu verhindern, darin liegt, dass Menschen in Not Freunde und Familie um sich haben, die sich um sie kümmern“, so ein Sprecher von Facebook in einer Erklärung, die Medscape Medical News vorliegt. „Wir können Menschen in Not mit Freunden (und auch mit Organisationen) verbinden, die ihnen Unterstützung anbieten können.“
Nach einem Kommentar gefragt sagt Prof. Dr. Drew Ramsey, Psychiater an der Columbia University, New York City, USA, und Mitglied und ehemaliger Vorsitzender des Council on Communications der American Psychiatric Association (APA's), dass das Unternehmen für seine Mühe zur Eindämmung der steigenden Suizid-Raten gelobt werden sollte.
„Ich denke, dass Facebook damit in einem ersten Schritt Verantwortung dafür übernimmt, dass seine Plattform von Menschen genutzt wird, die dort viele verschiedene Gefühle ausdrücken. Facebook will sein Bestes tun, um angemessen darauf zu reagieren“, sagt Ramsey zu Medscape Medical News.
Allerdings hat das Unternehmen keine spezifischen Daten aus seinem Programm veröffentlicht, einschließlich der Frage, wie viele Meldungen zu potenzieller Suizidgefahr sich als tatsächliche Notfallsituationen erwiesen haben.
Black-Box-Prozess
In einer im Dezember in der Washington Post veröffentlichten Studie erinnerte Dr. Mason JD Marks, Gastwissenschaftler an der Yale Law School, New Haven, Connecticut, USA, daran, dass diese Art von Suizidpräventionstechnologie zwar revolutionär sei, aber „dringend überwacht werden muss“.
Der ehemalige APA-Präsident Dr. Paul S. Appelbaum, Direktor der Abteilung für Recht, Ethik und Psychiatrie an der Columbia University, New York City, USA, hat noch größere Bedenken.
„Im Prinzip ist die Verwendung von künstlicher Intelligenz und maschineller Lerntechniken zur Identifizierung von Menschen mit erhöhtem Suizidrisiko nicht problematisch, weil wir damit tatsächlich Menschen herausfiltern können, die sonst nicht als gefährdet gelten würden, und ihnen geeignete Interventionen zukommen lassen können“, sagt er gegenüber Medscape.
„Und prinzipiell ist der Aufwand lohnend und vielleicht sogar lobenswert. Bedenklich ist aber, dass das von einer gewinnorientierten Organisation auf eine verdeckte Weise durchgeführt wird ...“
„Der verwendete Algorithmus ist urheberrechtlich geschützt; seine Genauigkeit und die Art und Weise, wie Präzision ermittelt wurde, ist unbekannt. Die Verwendung dieser Informationen durch Facebook ist unklar und seine Erfolgsbilanz beim Schutz von Nutzerinformationen vor Dritten ist nicht gerade ermutigend“, fügt Appelbaum hinzu, der auch ehemaliger Vorsitzender des Rates für Psychiatrie und Recht der APA und derzeitiger Co-Vorsitzender des Ständigen Ausschusses für Ethik der World Psychiatric Association ist.
Er hält fest, dass es noch Fragen zum Prozess der Identifizierung gibt und auch Fragen zur Unterstützung von Risikopersonen offen sind. „All diese Dinge geben Anlass zu großer Sorge. Wenn dies auf sozial verantwortliche Weise geschähe, wäre es ein offener Prozess“, sagt er.
Doch wäre dem so, dann wäre der Algorithmus öffentlich zugänglich und eine kritische Begutachtung möglich. Facebook würde sich an führende Suizidforscher wenden und sie in seinen Prozess einbeziehen, es würde versuchen, den verwendeten Algorithmus offen zu validieren und es würde eine offene Strategie entwickeln, um auf Nutzer mit Indikatoren für ein erhöhtes Suizidrisiko entsprechend zu reagieren, sagt Appelbaum. „Aber bislang klingt es nicht so, als ob Facebook das so macht, wie es sein sollte“, stellt er fest.
Auch Dr. John Torous, Direktor der Abteilung für digitale Psychiatrie am Beth Israel Deaconess Medical Center, Boston, USA, pflichtet bei, dass jede Anstrengung, die Suizidrate zu verringern, ein guter Schritt ist, stimmte aber auch mit Appelbaum überein, dass diese besondere Anstrengung mehr Transparenz erfordere.
„Es besteht sicherlich Bedarf an innovativen Ansätzen zur Suizidprävention und es ist spannend, potenzielle Technologien zu sehen, die dazu beitragen, Suizide zu verhindern. Aber es ist schwer zu sagen, was dieses Programm zu leisten in der Lage ist, weil es so wenig gibt, was tatsächlich darüber bekannt ist“, sagte Torous Medscape Medical News.
„Wenn beispielsweise ein Krankenwagen zum Haus von jemandem geschickt wurde – war es nötig? War es richtig? Hat es geholfen? Leider haben wir sehr wenige Daten darüber und deshalb ist es schwierig, sie überhaupt einzuordnen. Das ist aber ein Problem der öffentlichen Gesundheit und erfordert deshalb ausreichend Transparenz“, sagt Torous.
„Man muss es transparent machen, damit die Menschen es verstehen und Vertrauen aufbauen können. Man muss sich schon fragen: Weshalb bleibt das denn so im Dunkeln, es handelt sich doch um ein so öffentliches Thema? Ich denke, Facebook will das Richtige tun und meint es gut, aber seine Daten und Videos erklären nicht wirklich etwas“, sagt er.
Ärzte sollen sich mit Social Media auskennen
Torous, der eine Arbeitsgruppe zur Evaluierung von Smartphone-Apps für die APA leitet und über Hintergrundwissen in den Bereichen Informatik und Technik verfügt, merkt an, dass es für Ärzte wichtig sei, über Technologie und Social Media auf dem Laufenden zu bleiben.
„Ärzte müssen sich dieser verschiedenen digitalen Gesundheitsinitiativen, ob sie nun gut oder schlecht sind, bewusst sein. Das sind Dinge, die nicht ignoriert werden können, weil sie unsere Patienten und die Praxis der Medizin beeinflussen werden“, sagt er.
„Selbst wenn Sie ein Arzt sind, der Social Media nicht nutzen möchte, oder wenn Sie es nutzen aber eigentlich nicht nutzen wollen, müssen Sie trotzdem informiert sein. Es ist auch wichtig, dass Ärzte damit beginnen, die Richtlinien dafür zu entwickeln", fügt Torous hinzu.
„Man muss sich schon fragen, weshalb Facebook bei solchen Themen die Führung übernimmt? Es ist wichtig, dass Ärzte die wichtigen Fragen stellen und selbst an neuen Lösungen arbeiten.“
Wie erfolgreich ist die Technologie?
Dr. Ipsit Vahia, medizinischer Direktor des McLean Institute for Technology in Psychiatry, Belmont, USA, kommentierte ebenfalls bei Medscape und sagt, dass eine Suizid-Prävention dringend erforderlich sei.
„Die Suizid-Rate steigt allmählich. In Kombination mit Drogenmissbrauch hat sich die Lebenserwartung von US-Amerikanern in diesem Jahr laut den Centers for Disease Control and Prevention (CDC) erstmals sogar verringert“, sagt Vahia, der auch Ärztlicher Direktor der ambulanten Dienste für geriatrische Psychiatrie am McLean Hospital ist.
„Ich denke, dass alles, was wir mit Hilfe von Technologie tun können, um die Suizid-Rate zu beeinflussen, willkommen ist. Der Teufel steckt aber im Detail. Es gibt nicht genügend Evidenz, um zu belegen, wie erfolgreich dies ist und wie hoch die Präventiv-Rate ist. Die Gefahr bei einem solchen Ansatz besteht darin, dass es zu viele Fehlalarme gibt – und das kann sich auf unser Vertrauen in die Technologie selbst auswirken“, sagte er.
Im Jahr 2017 gab es nach Angaben der CDC in den USA mehr als 47.000 vollendete Suizide und mehr als 1,3 Millionen Suizidversuche. Darüber hinaus stieg die Suizid-Rate von 1999 bis 2017 dramatisch um 33% an.
Einige Social-Media-User haben Live-Streaming-Dienste wie „Facebook Live“ genutzt, um ihre Selbstmorde live zu übertragen. Wie die New York Post berichtet, tat das ein 14-jähriges Mädchen in Florida im Januar 2018.
Das KI-Programm des Unternehmens scannt Benutzerinhalte und Kommentare auf mögliche Suizid-Gefahren, aber auch die Facebook-Nutzer selbst können über Beiträge oder Videos (einschließlich Livestreaming) auf User aufmerksam machen, die womöglich in Not geraten sind.
Nachdem ein Bericht erstellt wurde oder das KI-Programm etwas markiert hat, wird das vom Community Operations Team des Unternehmens überprüft. Dieses Team besteht aus „Tausenden von Menschen auf der ganzen Welt“, die sich mit Suizid-Gefahren und selbstverletzendem Verhalten auskennen. „All das in einem internationalen Netzwerk zusammenzuführen erscheint mir innovativ. Es ist ein Weg, um schnell Hilfsdienste auf der ganzen Welt zu rekrutieren“, sagt Ramsey.
„Nur die Inhalte, die in hohem Maße mit einer unmittelbaren Selbstverletzung oder einem drohenden Selbstmordrisiko zusammenhängen, werden von unseren spezialisierten Teams überprüft“, erklärt das Unternehmen. Diese Teams sind für die direkte Zusammenarbeit mit Ersthelfern ausgebildet und haben auch Erfahrungen in Bereichen wie Strafverfolgung in den USA und mit Suizid-Hotlines.
Überwachungsstaat?
In seiner Stellungnahme an Medscape stellt Facebook fest, dass die Fälle, in denen es ein unmittelbares Risiko für schwere Schäden sieht, Fälle also, die zum Einsatz von Ersthelfern führen, nur eine kleine Minderheit aller gemeldeten Fälle sind.
Das Unternehmen fügt hinzu, dass eine Eskalation hin zu „alles“ an Ersthelfer weiterzuleiten dazu führen könnte, dass Eskalationen nicht mehr ernst genommen würden.
Zu Fragen von Medscape, ob es mehr Details veröffentlichen werde, wie viele der Berichte tatsächliche Notfälle waren und ob im zweiten Jahr des Programmes Änderungen erwogen und vorgenommen werden, antwortet Facebook nicht.
Falsch positive Erfahrungen könnten dazu führen, dass „jemand vermutet, dass das Gesundheitssystem einem Überwachungsstaat gleicht, in dem – sobald man sich anonym äußert – die Polizei an die Tür klopft. Das ist schon eine ziemlich beängstigende Aussicht“, sagt Torous.
In einem von NPR im vergangenen November veröffentlichten Artikel sagt Antigone Davis, Facebooks Sicherheitschefin, dass die Veröffentlichung von zu vielen Details über das KI-Programm dazu führen könnte, dass Einzelpersonen „mit dem System spielen“.
„Wenn es sich um ein robustes System handelt, sollte es nicht so anfällig sein“, sagt Torous. „Sagt Facebook damit, dass das System so unzuverlässig ist, dass bereits kleine Änderungen es stören und die Prognosen verändern können? Wenn Sie einen Krankenwagen schicken, dann sollte das schon ziemlich gut begründet sein.“
Ramsey konterte, dass es nicht unbedingt eine schlechte Sache sei, etwas zu vorsichtig zu sein. „Als Psychiater und als jemand, der sich öffentlich für die psychische Gesundheit von Menschen einsetzt, mache ich ständig falsch positive Anrufe. Im Hinblick auf die Kontrolle [über die KI von Facebook] und wie damit umgegangen werden soll, ist das eine gute Frage“, fügt er hinzu.
„Es erinnert an „Big Brother“, aber wenn der große Bruder den Notruf 911 anruft, weil Personen auf Facebook live dabei sind, sich selbst zu verletzen oder einen Suizid zu planen, dann wird für dieses Problem und wie wir darauf reagieren, definitiv ein neues Kapitel aufgeschlagen."
Ramsey merkt auch an, dass jemand, der sich Sorgen um die Privatsphäre macht, wahrscheinlich nicht auf einer öffentlichen Social-Media-Website posten würde.
Stigmatisierung, unfreiwillige Eingriffe
„Obwohl Anstrengungen dringend erforderlich sind, um der dramatischen Zunahme von Suiziden in den Vereinigten Staaten zu begegnen“, müssten diese wohlüberlegt und offen angegangen werden, betont Appelbaum.
„Die Bemühungen zur Verhinderung von Suiziden könnten, wenn sie nicht richtig durchgeführt werden, das Risiko von Stigmatisierung erhöhen oder zu unbeabsichtigten Eingriffen in das Leben von Menschen führen, die solche Eingriffe gar nicht wollen. Aus Fehlern und Missbrauch der gesammelten Informationen entstehen somit erhebliche Folgen“, sagt er.
Ein weiteres Problem ist, dass die Angst vor der Überwachung einige Nutzer dazu bringen könnte, in Krisenzeiten die Kontaktaufnahme mit Freunden in Social Media zu meiden, sagt Appelbaum.
„Die Menschen wollen vielleicht nicht, dass Facebook Anzeichen von Suizidalität aufzeichnet oder dass sie auf diese Weise abgestempelt werden. So könnten sie sich dafür entscheiden, das, was eigentlich ihr natürliches Unterstützersystem sein könnte, lieber nicht zu nutzen, und stünden so noch schlechter da“, sagt er.
Torous gab auch zu bedenken, dass einige Leute auch Social-Media-spezifische Rollen übernehmen. „Es ist bekannt, dass das, was die Leute auf Facebook posten, oft ein glücklicheres Bild ist, wie z.B. Urlaubsfotos, und zeigt, dass sie immer eine gute Zeit haben. Es ist also schwer herauszufinden, ob wir auf den wahren Geisteszustand einer Person reagieren würden oder ob es ihr Online-Status ist", sagt er. „Es wirft Fragen auf, worauf wir wirklich reagieren sollten und was die Folgen sind.“
Torous wirft auch die Frage auf, wo sich junge Menschen tatsächlich mitteilen. „Wo drücken sie wirklich aus, wie sie sich fühlen, und teilen echte Emotionen? Online verändert sich alles so schnell.“
Facebook besitzt Instagram, aber auch Snapchat- und Instant-Messaging-Anwendungen sowie Online-Videodienste wie YouTube sind bei jungen Menschen beliebt. „Ich muss mich schon fragen: Erreicht dieser Facebook-Algorithmus überhaupt die Menschen, die am meisten Hilfe benötigen? Ich glaube nicht, dass wir das wirklich wissen“, sagt Torous.
Neue Tools müssen erst erprobt werden
Allerdings „gibt es in der akademischen psychiatrischen Gemeinschaft ein großes Interesse daran, wie wir diese neuen Werkzeuge nutzen können, um Leben zu retten“, sagt Ramsey.
Er merkte an, dass „viele andere Unternehmen“ Technologien einsetzen, um selbstverletzendes Verhalten zu verhindern. „Es gibt viele, die die enorme Menge an Daten, die unsere Telefone erzeugen, nutzen, um alle Arten von Verhalten vorherzusagen“, sagt er.
So kann z.B. ein Vielschreiber, der abgesehen von kurzen, negativen Nachrichten, aufhört, Freunden zu schreiben, beginnt traurige Lieder zu spielen und das Haus für einen längeren Zeitraum nicht mehr verlässt, als auffällig erkannt werden, fügt er hinzu.
„Als Arzt ist das die Art von Information, die ich natürlich über meine Patienten wissen möchte. Es ist definitiv ein neues Set von Werkzeugen. Und wie bei jedem neuem Werkzeug wird es eine Weile dauern, bis wir verstehen, wie wir es am effektivsten einsetzen können“, sagt er.
Vahia berichtete, dass es „außer bei Facebook noch mehrere weitere Bemühungen gibt“, Daten durch den Einsatz von natürlicher Sprachverarbeitung zu analysieren, um Signale von Stimmungsschwankungen und Suizid zu erkennen.
Es gibt jedoch „einige Fragen zum Thema Datenschutz , inwieweit die Verwendung von KI in öffentlichen Beiträgen eine Verletzung der Privatsphäre darstellt und ob dies mit Zustimmung der Benutzer geschieht“, sagt er.
„Ich denke, wenn dies getan wird, ohne es richtig anzugehen, wird es Fragen aufwerfen, ob die Menschen der KI-Technologie vertrauen können und ob die Privatsphäre verletzt wird“, sagt Vahia.
Darüber hinaus „muss jede Technologie oder jedes Medikament im Gesundheitswesen ein sehr hohes Maß an Sensitivität und Spezifität aufweisen. Je höher der Grad, desto wahrscheinlicher ist es, dass ihnen Kliniker und Patienten vertrauen“, sagt er. „Diese Technologie hat ein großes Potenzial, aber ich denke, sie muss verfeinert werden.“
Zusammenarbeit erforderlich
„Dass Facebook die Selbstmordrate senken will, ist definitiv lobenswert. Bislang sind sie jedoch nicht richtig vorgegangen und haben eher mehr Bedenken geweckt – sowohl hinsichtlich der Wirksamkeit ihres Ansatzes als auch hinsichtlich der Verwendung der Informationen, die sie sammeln“, sagt Appelbaum.
„Der richtige Weg, dies zu tun, wäre sich zu öffnen, indem man mit Suizid-Forschern zusammenarbeitet und Algorithmen entwickelt, die breiter geteilt werden könnten, damit andere Social-Media-Dienste und Suizid-Forscher Zugang zu ihnen haben. Sie könnten hier einen enormen öffentlichen Dienst leisten, den sie bisher nicht übernommen haben“, fügt er hinzu.
Torous sagte, wenn Facebook „diese Rolle der öffentlichen Gesundheit irgendwie übernehmen will“, sollte es auch an der Sicherung der Daten von Einzelpersonen arbeiten. „Wohin sendet Facebook diese Informationen? Wer hat Zugang dazu? Wo und wie lagern sie es? Transparenz ist hier die Antwort. Dass dies nicht gewährleistet ist, wirft eine Vielzahl von ethischen Fragen auf“, sagt er.
Insgesamt stimmt Appelbaum zu, dass es für Ärzte wichtig ist, über den technologischen Fortschritt und die Neuigkeiten in den sozialen Medien auf dem Laufenden zu bleiben. „Die Entwicklung von Algorithmen wie der von Facebook bedeutet, dass nichtklinische Instanzen einen gleichberechtigten oder sogar besseren Zugang zu den psychischen Zuständen der Patienten haben können. Daher ist es für Ärzte wichtig, darüber Bescheid zu wissen, wie diese Informationen gesammelt werden und was mit ihnen gemacht wird. Sie wissen am besten, was die Risiken sind und wie man den Nutzen maximiert“, sagt er.
„Offensichtlich geschieht dies im Guten wie im Schlechten. Und es ist an der Zeit, dass die medizinische Gemeinschaft sicherstellt, dass sie aktiv in all das einbezogen wird“, schließt Torous.
Dieser Artikel wurde von Ute Eppinger aus www.medscape.com übersetzt und adaptiert.
Medscape Nachrichten © 2019
Diesen Artikel so zitieren: Rettender Engel Facebook? Das Unternehmen will mithilfe von Künstlicher Intelligenz Suizide von Nutzern verhindern - Medscape - 28. Jan 2019.
Kommentar