Artikel
Möglichkeiten und Grenzen adaptiver Prüfungen in der Medizin
Suche in Medline nach
Autoren
Veröffentlicht: | 26. September 2011 |
---|
Gliederung
Text
Fragestellung: Bei adaptiven Prüfungen wird abhängig von der Beantwortung der vorhergehenden Aufgaben die nächste Frage so gewählt, dass diese möglichst viele Informationen über den Leistungsstand des Prüflings liefert. Das Vorgehen erlaubt, bei gleicher Messgenauigkeit die Zahl der zu stellenden Aufgaben je Teilnehmer zu reduzieren. Beispiel einer adaptiven Prüfung in der Medizin ist der MC-Teil für die Zulassung als Arzt in Australien.
In der Studie wird untersucht, ob die Aufgaben der vorklinischen Prüfungen an der Universität Heidelberg geeignet sind, im Rahmen adaptiver Prüfungen verwendet zu werden, welche Vorteile gegenüber Prüfungen mit optimal fest ausgewählten Fragen bestehen und wie entscheidend die dem Verfahren zugrundeliegenden Modellannahmen sind.
Methoden: Untersucht wurden die Prüfungen in Anatomie, Physiologie und Biochemie des 2. - 4. Fachsemesters (SS und WS 2010, n=346, 391 bzw. 390). Die Prüfungen mit je 90 Fragen wurden in einen Kalibrier- und einen Kreuzvalidierungsdatensatz unterteilt. Aus erstem wurden die Item-Response-Funktionen (IRF) nach dem 3-Parameter-Modell von Birnbaum bestimmt. An den Validierungsdaten wurden adaptive Prüfungen und Prüfungen mit optimal fest gewählten Aufgaben nachgebildet. Mit einer Simulationsstudie wurden die Konsequenzen der Abweichungen der realen IRF von den Modellannahmen untersucht.
Ergebnisse: Durch adaptives Prüfen lässt sich bereits mit ca. 40 Aufgaben praktisch die gleiche Messgenauigkeit erzielen wie mit den Prüfungen mit 90 Fragen (r>0.93). Gegenüber Prüfungen mit optimaler fester Aufgabenfolge verringert man die Aufgabenzahl um ca. 20-30%. Bei perfekter Gültigkeit der Modellannahmen wäre eine weitere Absenkung um ca. 25% möglich.
Schlussfolgerung: Die in den untersuchten Prüfungen verwendeten Aufgaben eignen sich für adaptive Prüfungen obwohl die Modellannahmen nicht vollständig erfüllt sind. Für die Prüfungspraxis sind die Vorteile des adaptiven Vorgehens gegenüber den logistisch einfacheren Prüfungen mit optimalen festen Aufgabenfolgen abzuwägen.