gms | German Medical Science

25. Jahrestagung des Netzwerks Evidenzbasierte Medizin e. V.

Netzwerk Evidenzbasierte Medizin e. V. (EbM-Netzwerk)

13. - 15.03.2024, Berlin

Generierung von Patienteninformationen in leichter Sprache mittels künstlicher Intelligenz: eine Machbarkeitsstudie

Meeting Abstract

Suche in Medline nach

  • Gregor Wenzel - Deutsche Krebsgesellschaft e.V., Evidenzbasierte Medizin und Leitlinien, Deutschland
  • Markus Follmann - Deutsche Krebsgesellschaft e.V., Evidenzbasierte Medizin und Leitlinien, Deutschland
  • Thomas Langer - Deutsche Krebsgesellschaft e.V., Evidenzbasierte Medizin und Leitlinien, Deutschland

Evidenzbasierte Politik und Gesundheitsversorgung – erreichbares Ziel oder Illusion?. 25. Jahrestagung des Netzwerks Evidenzbasierte Medizin. Berlin, 13.-15.03.2024. Düsseldorf: German Medical Science GMS Publishing House; 2024. Doc24ebmV7-02

doi: 10.3205/24ebm033, urn:nbn:de:0183-24ebm0337

Veröffentlicht: 12. März 2024

© 2024 Wenzel et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Hintergrund/Fragestellung: Analysen der Verständlichkeit von Patientenleitlinien (PLL) im Leitlinienprogramm Onkologie zeigen, dass die sprachliche Komplexität dieser Texte den Anforderungen von Patient:innen mit eingeschränkter Gesundheitskompetenz nicht entspricht. Der Einsatz von KI-gestützten Werkzeugen kann den Erstellungsprozess von Patienteninformationen in Leichter Sprache beschleunigen und so das informierte Entscheidungsverhalten der Betroffenen unterstützen.

Methoden: Aus den sechs zuletzt publizierten PLL wurden insgesamt 18.000 Zeichen extrahiert. Diese Texte wurden mittels SUMM, ChatGPT Version 3 (CP3) und 4 (CP4) in Leichte Sprache umgewandelt. Zur Bewertung der Lesbarkeit kamen die Indices FLESCH und LIX zum Einsatz. Eine subjektive Bewertung der Textqualität umfasste die Kriterien Vollständigkeit, Korrektheit, Verständlichkeit und Gesamtqualität und erfolgte im Vier-Augen-Prinzip. Sämtliche Scores wurden mittels t-Tests zwischen den KI-basierten Werkzeugen analysiert.

Ergebnisse: Die durch KI generierten Texte waren durchweg leichter zu lesen als die ursprünglichen PLL-Texte (FLESCH: 47.7 (PLL) vs. 79.3 (SUMM), 61.4 (CP3) und 68.5 (CP4); LIX: 57.7 (PLL) vs. 36.6 (SUMM), 50.8 (CP3) und 45.7 (CP4)). Bei jedem paarweisen Vergleich waren die Unterschiede zwischen den PLL-Texten und den umgewandelten Texten statistisch signifikant (p<0.001). Die mit SUMM erzeugten Texte schnitten in Bezug auf die Gesamtqualität signifikant schlechter ab als die von CP3 oder CP4 generierten Texte (1.86 vs. 3.7 und 4.41; p<0.001).

Schlussfolgerung: Die Studienergebnisse unterstreichen das Potenzial von KI-gestützten Methoden bei der Erstellung von Patienteninformationen in Leichter Sprache. Die Steigerung der Lesbarkeit ist durch etablierte Indizes nachweisbar. Allerdings erfordert die Beurteilung der inhaltlichen Qualität der generierten Texte weiterhin eine menschliche Bewertung. Zukünftige Untersuchungen sollten größere Textmengen berücksichtigen und Expert:innen für Leichte Sprache miteinbeziehen.

Interessenkonflikte: Es bestehen keine finanziellen Interessen.