gms | German Medical Science

Fragestellung: In der aktuellen Studie wurde die Eignung von Chat-GPT 4.0 im Bereich der Augenheilkunde analysiert.

Methoden: Ausgehend von einem Fragenkatalog mit 150 Fragen, der dem Standardwerk „1.000 Fragen Augenheilkunde“ entnommen wurde, erfolgte die Bewertung der Antworten, die Chat-GPT 4.0 generierte. Um eine präzise und fachspezifische Rückmeldung zu gewährleisten, wurde ChatGPT mittels eines Prompts angewiesen, die Funktion eines Facharztes für Augenheilkunde zu übernehmen. Ein Expertengremium aus 15 Augenärzten evaluierte die von dem Modell generierten Antworten hinsichtlich ihrer Richtigkeit, Themenrelevanz und inneren Kohärenz.

Ergebnisse: In unserer Studie hätte ChatGPT die Facharztprüfung in 12 von 15 Themengebieten bestanden. Betrachtet man die Gesamtauswertung, so hat Chat-GPT 4.0 in etwa 50% der Fälle korrekte Antworten generiert. Bemerkenswert ist, dass über 70% der Antworten eine hohe thematische Passgenauigkeit und Kohärenz aufwiesen, obwohl Chat-GPT 4.0 nicht speziell für medizinische Fragestellungen trainiert wurde. Auf den Gebieten Uveitis und Linse/Katarakt wurden 100% der Fragen richtig beantwortet.

Diskussion: Trotz des relativ bescheidenen Gesamtergebnisses, mit relativ weit gestreuten Ergebnissen je nach Spezialgebiet konnte das große Potenzial dieser Technologie herausstechen. Wenn zukünftige Iterationen des Modells speziell auf die Fachgebiete trainiert werden, so wird dies eine unentbehrliche Ressource in der medizinischen Praxis und Ausbildung darstellen können.