gms | German Medical Science

Hintergrund/Fragestellung: Die Erstellung systematischer Übersichtsarbeiten ist gewöhnlich ein aufwändiger Prozess. In den letzten Jahren haben Bestrebungen, diesen Prozess durch (Semi-)Automatisierung und Künstliche Intelligenz (KI) zu unterstützen, an Bedeutung gewonnen.

Forschungsfrage: Wie gut bewertet der KI-Chatbot „Claude“ [1] das Biasrisiko von randomisiert-kontrollierten Studien (RCTs) im Vergleich zu in Cochrane Reviews veröffentlichten, „menschlichen“ Bewertungen (Referenzstandard)?

Methoden: Zur Generierung des Referenzstandards planen wir, Cochrane Reviews (CRs) zu identifizieren, in denen das „RoB 2“-Tool [2] zur Bewertung von Parallelgruppen-RCTs angewandt wurde. Pro CR wählen wir zufällig eine RCT aus und erstellen unter Anwendung von „Claude“ eine Bewertung des Biasrisikos nach RoB 2-Kriterien (fünf Domänen D1–5, ein Gesamturteil, Bewertungsoptionen: niedrig, einige Bedenken, hoch [3]) sowie begründenden Text für jede Bewertung. Basierend auf einer Fallzahlberechnung planen wir die Bewertung von 100 RCTs. Zur Ermittlung der Übereinstimmung von Claude und Referenzstandard werden Cohens gewichteter Kappa-Koeffizient, die prozentuale Übereinstimmung, Sensitivität und Spezifität sowie der positive und negative prädiktive Wert berechnet. Diskrepanzen zwischen Claude und Referenzstandard werden inhaltlich analysiert. In einer Pilotierungsphase wurde ein geeigneter Prompt („Anweisung“ an Claude) entwickelt, für 30 RoB 2-Bewertungen von RCTs aus drei CRs getestet und die prozentuale Übereinstimmung mit dem Referenzstandard berechnet.

Ergebnisse: In der Pilotierungsphase wurde zwischen Claude und Referenzstandard eine Übereinstimmung von 72,4% für D1 (Randomisierungsprozess), 86,2% für D2 (Abweichungen von den vorgesehenen Interventionen), 100,0% für D3 (fehlende Ergebnisdaten), 93,1% für D4 (Ergebnismessung), 48,3% für D5 (Selektion des berichteten Ergebnisses) und 31,0% für das Gesamturteil erzielt. Gründe für die niedrige Übereinstimmung für D5 und das Gesamturteil waren insbesondere Probleme bei der Überprüfung relevanter Zusatzdokumente hinsichtlich vorab spezifizierter Ergebnismessungen und Analysepläne. Für Diskrepanzen bei D1 fiel auf, dass Claude zwar Informationen zur Randomisierung korrekt aus den Originalpublikationen zitierte, diese jedoch zu wenig streng beurteilte.

Schlussfolgerung: Die Pilotierungsphase wurde erfolgreich abgeschlossen. Die vollständigen Ergebnisse werden Anfang 2024 vorliegen und auf dem Kongress präsentiert.

Interessenkonflikte: Es liegen keine Interessenskonflikte vor.