gms | German Medical Science

Hintergrund und Stand der Forschung: Die Durchführung von Literaturreviews ist mit großem Zeitaufwand sowie der Gefahr von Ungenauigkeit und Subjektivität verbunden. Diverse Programme versprechen eine Reduktion der Probleme durch technische Unterstützung. Bisher bestehen jedoch wenige wissenschaftliche Berichte zum Einsatz dieser Programme. Für die Durchführung eines Rapid Reviews (RR) im Projekt Ü-GLAD (Prüfung der Übertragbarkeit des GLA:D®-Konzeptes («Good Life with osteoArthritis in Denmark»)) wurde je ein Programm zur Unterstützung des Title-Abstract(TiAb)-Screenings (ASReview) sowie ein Programm zur Unterstützung des Volltextscreenings (Rayyan) eingesetzt.

Fragestellung und Zielsetzung, Hypothese: Wie kann technische Unterstützung in Form der Programme ASReview und Rayyan im Screening-Prozess von RR genutzt werden?

Methode: Die RR-Methodik umfasst ein initiales TiAb-Screening von 20% der TiAbs durch zwei Personen (P1, P2). Das restliche TiAb Screening erfolgt durch P1 mit anschließender Prüfung aller Ausschlüsse durch P2. Das initiale Volltext-Screening von 10 Artikeln erfolgt durch P1 und P2. Das restliche Volltext-Screening erfolgt durch P2 mit anschließender Prüfung der Ausschlüsse durch P1.

Ergebnisse: Das Programm ASReview wurde zur Unterstützung von TiAb-Screenings entwickelt und nutzt maschinelles und aktives Lernen zur Sortierung der Literatur nach der Wahrscheinlichkeit ihres Einschlusses. Zu Beginn des Screenings fordert ASReview das Prüfen von mindestens 10 manuell ausgewählten TiAb und nutzt die Ein- bzw. Ausschlussentscheidung als Grundlage für die Sortierung aller weiteren TiAb. In Ü-GLAD wurden für eine möglichst sensitive Sortierung alle Einschlüsse des initialen TiAb-Screenings sowie im Sinne des Gleichwichts dieselbe Anzahl Ausschlüsse (Zufallsauswahl) genutzt, um den Algorithmus von ASReview zu trainieren. ASReview zeigt ab einem bestimmten Schwellenwert mit hoher Wahrscheinlichkeit ausschließlich irrelevante Artikel an, sodass nicht alle Artikel gescreent werden müssen. Für das Rapid Review wurde festgelegt, dass das Screening beendet wird, sobald 25 nacheinander angezeigte TiAbs nicht die Einschlusskriterien erfüllen (Stopping Rule). Nach der Prüfung von 502 (24%) der insgesamt 2.114 TiAb wurde die Stopping Rule erfüllt. ASReview ist nicht für Volltextscreenings entwickelt worden. Hierfür wurde Rayyan genutzt, das für die Unterstützung im Volltext-Screening Semi-Automatisierung einsetzt.

Diskussion: Die Nutzung von ASReview ermöglichte eine deutlich verkürzte Dauer des TiAb-Screenings, da nicht alle Titel gescreent werden müssen. Herausfordernd war jedoch der unklare Zeitumfang des Screening-Prozesses, da unsicher war, wann die Stopping Rule erfüllt ist. Rayyan ermöglicht durch die Vergabe von Labels eine detaillierte Überprüfbarkeit der Ausschlussgründe.

Implikation für die Forschung: Die Nutzung technischer Unterstützung im Review-Prozess birgt großes Potenzial durch die Reduktion der Menge zu screenender Inhalte sowie die statistische Reduzierung der Wahrscheinlichkeit menschlicher Fehlentscheidungen. Die Einarbeitung in die Funktionsweise der verschiedenen Programme ist jedoch zunächst zeitaufwendig.

Förderung: Sonstige Förderung; Georgius Agricola Stiftung Ruhr - keine Funding Number