Kompetenzüberprüfung E-Assessment
Transferphase
Transferauftrag
Ausgangslage
Jeder Rettungssanitäter / jede Rettungssanitäterin muss einmal pro Jahr eine Kompetenzprüfung bei der ärztlichen Leitung ablegen. Diese Kompetenzprüfung dient dazu, dass der Rettungssanitäter / die Rettungssanitäterin die ärztlich delegierten Massnahmen selbstständig ausführen darf. Bei den delegierten Massnahmen geht es unter anderem um die Freigabe von Medikamentenapplikationen oder die Durchführung von bestimmten Massnahmen, wie z.B. die Einlage einer supraglottischen Atemwegshilfe oder einer externen Schrittmachertherapie. In der Gestaltung dieser Kompetenzprüfung ist die ärztliche Leitung frei. Bis dato wurde die Kompetenzprüfung in einem persönlichen Gespräch mit der ärztlichen Leitung durchgeführt (Dauer ca. 45 Minuten). Dieses Gespräch beinhaltete folgende Punkte:
- Eine mündliche Fallbesprechung
- Mündliche Fragen zur Pharmakologie (Indikation, Dosierungen, Wirkmechanismus, Nebenwirkungen & Kontraindikationen)
- 4-5 vorgelegte EKGs (Elektrokardiogramme) analysieren und beurteilen
- Einen Skill praktisch vorführen (z.B. Einlage einer supraglottischen Atemwegshilfe am Phantom)
Für die ärztliche Leitung sind diese Kompetenzprüfung zentral, da sie den Rettungssanitätern/-innen medizinische Massnahmen delegieren, welche prinzipiell nur durch ärztliches Personal ausgeführt werden darf. Dazu kommt, dass die ärztliche Leitung nicht jeden Rettungssanitäter / jede Rettungssanitäterin über einen längeren Zeitraum begleiten kann, umso deren fachliche Kompetenz zu überprüfen. Bei der Medikamentenapplikation kommen zahlreiche Medikamente zum Einsatz, welche potent wirken und bei falscher Anwendung rasch zu einer lebensbedrohlichen Situation führen können. Die Abbildung auf der linken Seite zeigt die farblich abgestuften Medikamente, welche im Rettungsdienst des Kantonsspitals Baselland mitgeführt werden.
Die grün kodierten Medikamente haben die Rettungssanitäter/-innen nach erfolgreich absolvierten Kompetenzprüfung in der Anwendung frei. Die gelb kodierten Medikamente ebenso, jedoch muss nach dem Einsatz eine kurze Info an die ärztliche Leitung erfolgen, sodass diese die Indikation und Anwendung im Nachhinein überprüfen können. Die blau und rot markierten Felder obliegen dem Anästhesie-Fachpersonal sowie den Notärzten / Notärztinnen. Die pink-weiss gestreiften Medikamentengruppe darf nach Rücksprache mit der Kardiologie appliziert werden.
Die Durchführung dieser Kompetenzprüfungen sind für die ärztliche Leitung zeitintensiv, da sie rund 35 Mitarbeiter/-innen prüfen müssen. Bei einer durchschnittlichen Dauer von ca. 45 Minuten pro Mitarbeiter/-in sind dies rund 26 Stunden, was drei Arbeitstagen entspricht.
Im Rahmenlehrplan vom “Forum Berufsbildung Rettungswesen” sind die einzelnen Arbeitsprozesse und die zu erreichenden Kompetenzen festgelegt. Insgesamt sind aus den fünf Arbeitsprozessen 19 übergeordnete Kompetenzfelder definiert, welche sich weiter in 76 Kompetenzen aufgliedern. Nähere Infos dazu unter folgendem Link:
Die bisherige Kompetenzprüfung fokussiert sich vorrangig auf die gelb markierten übergeordneten Kompetenzen. Eine vollständige Erfassung der gelb markierten Kompetenzen wird jedoch mit einem mündlichen Prüfungsgespräch und der praktischen Vorführung eines Skills nicht erreicht. Die blau markierten Kompetenzbereiche werden mit dem bestehenden Prüfungsverfahren kaum bis gar nicht abgedeckt. Es besteht Potenzial diese Kompetenzbereiche mit einfliessen zu lassen. Eine mögliche Umsetzungsvariante wäre z.B. die Simulation. Mit einem entsprechend vorbereiteten “Environment” könnten die blau markierten Kompetenzbereiche ebenso mit einbezogen werden. Dieser Teil wird für den Transferauftrag nur im Ansatz erläutert. Vielmehr wird im Rahmen dieser Transferarbeit die Digitalisierung der bisherigen Kompetenzprüfung untersucht und bearbeitet. Im nachfolgenden Abschnitt wird die Zielsetzung dazu formuliert.
Zielsetzung
Wie vorhin erwähnt könnte ein Teil dieser Kompetenzprüfung digitalisiert werden. Die mündlichen Fragen zur Pharmakologie, wie auch das Beurteilen und Analysieren von EKGs, könnten mit einer digitalen Kompetenzprüfung optimiert werden. Dies würde zum einen die zeitlichen benötigten Ressourcen der ärztlichen Leitung reduzieren und gleichzeitig auch die Objektivität der Prüfung verbessern, da alle Mitarbeiter/-innen die gleichen Fragestellungen erhalten. Letzteres ist bei einer mündlichen Prüfung schwierig zu gewährleisten.
Umsetzung
Deshalb wurden die Plugins von WordPress unter die Lupe genommen, mit dem Vorteil, dass diese direkt in die eigene Homepage integriert werden können. Die Konsultation verschiedener Tutorials haben ergeben, dass das Plugin QSM (Quiz and Survey Master) die Anforderungen am besten abdeckt:
- Verschiedene Fragetechniken (Single Choice, Multiple Choice, offene Fragen mit Textfeld etc.).
- Einfache Bedienbarkeit.
- Automatische Auswertung (Punkte oder in Prozenten), ausgenommen natürlich die offenen Fragestellungen.
- Lösungen und Resultat können den Teilnehmenden automatisch nach Abschluss ausgestellt werden.
- Einfügen von Videos und Bilder in den Fragestamm.
- Passwortgeschützt.
- Möglichkeit der zeitlichen Begrenzung.
- Flexibilität in der Prüfungszusammenstellung in Bezug auf Anordnung und Integration von Fragen aus der Bibliothek.
- Unabhängigkeit vom Endgerät und Betriebssystem.
- Direkte Zertifikatsausstellung bei erfolgreicher Prüfung.
- Einfügen von Kommentarfeldern für allfällige Ergänzungen durch die Teilnehmenden (z.B. bei Unklarheiten in Single- und Multiple-Choice-Aufgaben).
- uvm.
Was sind gute Prüfungsfragen?
David Boud sagt: “Students can escape bad teaching, they cannot escape bad assessments”. Wie entstehen also gute Single-/Multiple-Choice Fragen? Hierzu formuliert René Krebs in seinem Multiple-Choice Workshop folgende sieben Prinzipien (basierend auf Haladyna T., Drowning S. & Rodriguez M. (2002) A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment):
1. Vorwärts orientierte relevante Themen, Probleme und Handlungen wählen.
Abfragen was in der Praxis gebraucht wird, was eine häufige Fehlerquelle darstellt oder bei dem Fehler negative Folgen haben können. Keine Raritäten, Spitzfindigkeiten oder Trivialitäten prüfen.
2. Auf adäquate taxonomischen Stufen prüfen
Nicht bloss lehrbuchmässiges Faktenwissen prüfen, sondern wenn immer möglich Verständnis und Wissensanwendung prüfen: Informationen verstehen, eine Situation analysieren, Schlussfolgerungen ziehen etc. Hierzu bieten sich konkrete Beispiele mit Probleme, Fälle, Bilder etc.
3. Authentisch und fokussiert fragen mit homogenen Antworten
Die Fragen/Probleme möglichst so darstellen, wie sie sich im realen, konkreten und vorwärtsorientierten Konstrukt verhalten. Das Thema auf einen wichtigen Aspekt einschränken. Alle Antworten liegen auf einer inhaltlichen Dimension.
4. Eindeutige Lösung
Keine “korrekten” Antworten mit kontroversen Lehrmeinungen. Genügend Abstand zwischen der besten und zweitbesten Antwortmöglichkeit.
5. Angemessene Schwierigkeit: 50-90% richtige Antworten
Wünschenswert sind positive Trennschärfen >0.20. Bei zu hoher Schwierigkeit müssen auch gute Kandidaten/Kandidatinnen raten, wodurch die Trennschärfe schwindet. Schwere Fragen mit fehlender oder gar negativer Trennschärfe sollten nachträglich aus der Bewertung ausgeschlossen werden. Zu leichte Fragen tragen zwar nichts zur Differenzierung bei, können aber allenfalls als Prüfungseinstieg (sog. Eisbrecherfragen) eingesetzt werden. Dabei gilt es zu beachten, dass ein zu leichtes Schwierigkeitsniveau zur Verwirrung von guten Kandidaten/Kandidatinnen führen kann.
6. Einheitliche, eindeutige, prägnante und einfache Formulierungen
Vignette: Alle nötigen aber keine überflüssigen Informationen. Einfache Sprache möglichst ohne Nebensatzkonstruktionen.
Fragestellung: Positiv und allgemein formuliert und möglichst knapp gehalten. Keine Fangfragen und nur geläufige Abkürzungen verwenden. Vage Quantifizierungen wie “häufig”, “oft”, “gewöhnlich” etc. möglichst vermeiden.
Antworten: Möglichst kurz, positiv und nur eine Aussage pro Antwort. Keine Überschneidungen, logisch angeordnet und Verzicht auf Antwortmöglichkeiten wie “alle der obigen…” / “keine der obigen”.
7. Ungewollte Lösungshinweise vermeiden
- Alle Wahlantworten passen inhaltlich und sprachlich zur Fragestellung.
- Die Antworten sind alle ungefähr gleich lang.
- Falsche Antworten sind genauso differenziert wie die richtige Antworten.
- Es wird nicht das Gegenteil der richtigen Antwort als Falschantwort verwendet.
- Auf Absoluta wie “immer”, “alle” etc. wird verzichtet, da dies in der Regel bereits eine Falschantwort suggeriert.
- Die richtige Antwort ist nicht überwiegend im Mittelbereich platziert.
Evaluation
Der Prototyp wurde mit zwei Rettungssanitätern und einer Rettungssanitäterin aus dem Betrieb getestet und evaluiert. Nach Abschluss des Tests erhalten die Teilnehmer/-innen direkt ein Feedback und können ihre Resultate einsehen. Gleichzeitig kann auch der Experte / die Expertin die Resultate einsehen, woraus die Punktzahl sowie die Prüfungsdauer ersichtlich sind. Beim Score werden allerdings die Fragen mit offenem Text zwar in den Gesamtscore mit eingerechnet, jedoch kann das System natürlich die Antwortmöglichkeiten nicht überprüfen, weshalb diese mit 0 Punkten bewerten werdet. Dies verfälscht den Gesamtscore und muss in der Gesamtauswertung nachträglich korrigiert werden.
Die Auswertung für die Teilnehmenden wie auch für die Experten ist aus der nachfolgenden Abbildung ersichtlich. Die Markierung mit dem grünen Stern ist eine korrekte Antwort und wurde auch richtig beantwortet. Beim orangen Stern handelt es sich ebenfalls um eine richtige Antwortmöglichkeit, wurde allerdings nicht angekreuzt. Beim roten Stern wurde eine Falschantwort fälschlicherweise angekreuzt. Die grau hinterlegten Antwortmöglichkeiten wurden korrekterweise als Falschantworten beurteilt und dementsprechend nicht angekreuzt. Bei den offenen Textantworten wird unterhalb der Frage jeweils der eingegebene Text angezeigt. Letzteres ist aus der nachfolgenden Abbildung nicht ersichtlich:
Evaluationsbogen
Mit nachfolgendem digitalen Auswertungsbogen wurde der Prototyp bei den Probanden evaluiert:
Ergebnisse aus der Auswertung
Die Ergebnisse aus den drei Auswertungen werden nachfolgend transparent dargelegt und analysiert:
Der Prototyp kam bei den Probanden gut bis sehr gut an. Im Vergleich zur mündlichen Kompetenzüberprüfung schätzen die Probanden, dass sie in diesem Setting weniger unter Zeitdruck stehen und die Beantwortung der Fragen selber steuern können. Das geht auch aus der Prüfungsauswertung hervor. Die Prüfungsdauer bei den drei Probanden lag zwischen 35 und 57 Minuten.
Schwierig fanden sie die Fragen zu den Fallszenarien mit den offenen Textantworten. Hierbei war unklar, wie weit und detailliert die Therapieansätze beschrieben werden sollten. Bei der Analyse und Befundung von EKGs sind die offenen Textantworten sinnvoll, da den Teilnehmenden keine Antwortmöglichkeiten zum Ausschlussverfahren zur Verfügung stehen. Dies wiederum erhöht den Schwierigkeitsgrad.
Durch die individuell steuerbare Testprüfung kam bei den Probanden der Eindruck auf, dass die Kompetenzprüfung zeitlich und örtlich unabhängig durchgeführt werden kann. Prinzipiell ein interessanter Ansatz, welcher im Detail zu prüfen wäre. Nichtsdestotrotz sollte die Kompetenzprüfung in den fachlichen Themen als Einzelprüfung abgelegt werden. Als Rettungssanitäter/-in ist man teilweise auch auf sich selbst gestellt, gerade wenn man mit Studierenden im 1. Ausbildungsjahr ausrückt. Trotzdem haben überfachliche Kompetenzen wie Kooperation und Kommunikation einen zentralen Stellenwert in unserer täglichen Arbeit, welche sich auch nur im Team überprüfen lassen. Diesen Aspekt streifen wir zum Schluss dieser Transferarbeit noch kurz an. Es wäre jedoch möglich, dass die Prüfung zeitlich flexibel absolviert werden könnte. Dafür müsste ein Zeitraum definiert werden, wo die Mitarbeitenden die Prüfung vor Ort ablegen müssen. Eine Möglichkeit wäre auch, dass Hilfsmittel wie Algorithmen, Kindersicher, Kompendium etc. – welche auch während dem Einsatz zur Verfügung stehen – zu Rate gezogen werden dürfen. Hierbei müsste dann allenfalls die Prüfungsdauer zeitlich limitiert werden.
Schlussfolgerungen
Aus den Ergebnissen der Auswertung, wie auch aus den Gesprächen mit den Probanden, lassen sich folgende Schlussfolgerungen ziehen: Eine digitale Kompetenzüberprüfung wäre für die Analyse und Befundung von EKGs sowie für SC/MC-Fragen zu Themen wie Pharmakologie, Pathophysiologie, Gerätekunde oder auch zu organisatorischen Themen (interne Prozesse, Grossschadenereignisse etc.) durchaus sinnvoll. Gleichzeitig ermöglicht sie eine objektivere Durchführung und Auswertung im Vergleich zu mündlichen Kompetenzüberprüfungen. Fallszenarien mit offenen Textantworten sind schwierig, zumal die Tiefe und Breite der Antworten wahrscheinlich sehr heterogen ausfallen wird, insbesondere wenn die Fragestellungen viel Spielraum offen lassen. Dies wiederum erhöht den Zeitaufwand für die Auswertung der Prüfung. Dazu kommt, dass die offenen Textantworten im Gesamtscore einzel nachkorrigiert werden müssen und die Teilnehmer/-innen nach Abschluss der Prüfung kein direktes Feedback erhalten.
Ein möglicher Ansatz wäre, dass die digitale Kompetenzüberprüfung als Ergänzung zur bisherigen mündlichen Kompetenzüberprüfung eingesetzt wird. Themen wie EKG-Befundung, Pharmakologie, Pathophysiologie etc. könnten digital als SC/MC-Fragen geprüft werden. Im Anschluss folgt ein mündliches Gespräch mit der ärztlichen Leitung, bei welchem die Auswertung der Prüfung besprochen werden kann und zusätzlich ein videobasiertes Fallszenario mündlich bearbeitet werden kann. Der Vorteil der mündlichen Fallbearbeitung ist, dass die ärztliche Leitung die Breite und Tiefe der Antworten direkt steuern kann. Gleichzeitig kann in dieses videobasierte Fallszenario ein praktischer Skill eingeplant werden (z.B. die Vorbereitung eines Perfusors, die Durchführung einer NIV-Therapie etc.). Möglich wäre jedoch auch, dass das videobasierte Fallszenario – analog zum Prototyp – in der digitalen Kompetenzüberprüfung bereits integriert ist. Dieses könnte im anschliessenden mündlichen Prüfungsgespräch bei Bedarf vertieft bearbeitet und geprüft werden.
Die Ergänzung einer digitalen Kompetenzüberprüfung würde den Zeitaufwand für die ärztliche Leitung verkürzen, weil dadurch mehrere Teilnehmer/-innen gleichzeitig die Prüfung absolvieren können und das mündliche Prüfungsgespräch weniger Zeit in Anspruch nehmen würde. Zusätzlich würde es – wie bereits erwähnt – die Objektivität stärken. Damit sich die Mitarbeitenden optimal auf die Kompetenzüberprüfung vorbereiten können, könnte ein digitales Potpourri an Fragen zusammengestellt werden. Dies würde den Mitarbeitenden Sicherheit und eine gute Vorbereitung gewährleisten.
Wie bereits zu Beginn erwähnt, werden mit diesen Prüfungsansätze nur ein Teil der Kompetenzen aus dem Rahmenlehrplan überprüft. Soft Skills wie z.B. Kooperation und Kommunikation im Team werden damit nicht angesteuert. Rund 80% aller Komplikationen in der Medizin sind jedoch auf Team- und Kommunikationsdefizite zurückzuführen, was aus der Literatur “To Err is Human” zu entnehmen ist. Um diese überfachlichen Kompetenzen stärker zu gewichten, bietet die Simulation einen guten Ansatz. Diese Thematik kritisch und ausführlich aufzugreifen, würde jedoch den Rahmen dieser Transferarbeit sprengen. Es wäre jedoch zu prüfen, ob allenfalls auch ein Simulationsszenario ein Teil der Kompetenzprüfung sein könnte. Die Infrastruktur dafür wäre im Rettungsdienst des Kantonsspitals Baselland gegeben, wie der nachfolgende Trailer zeigt. Jedoch würde damit der personelle und zeitliche Aufwand wieder steigen.
Reflexion
Für mich persönlich war die grösste Lernerfahrung – und zugleich auch die grösste Herausforderung – der technische Aspekt. Für mein elektronisches Lernjournal habe ich mit WordPress eine Homepage erstellt, in der ich all meine Lerninhalte und Reflexionen (aus der Vorbereitungs-, Vertiefungs- und Transferphase) festhalten möchte. Das Erstellen und Bearbeiten einer Homepage war für mich bisher Neuland. In diesem CAS möchte ich diese Kenntnisse und Fertigkeiten erweitern. Persönlich schwebt mir eine Vision vor, in der die Digitalisierung in meinem beruflichen Bereich (Medizin & Andragogik) eine zentrale Rolle spielen wird.
Für das Modul E-Assessment wollte ich eine digitale Kompetenzüberprüfung für den Rettungsdienst entwickeln. Dafür habe ich mich mit bestehenden Softwares zur Erstellung solcher E-Assessments auseinandergesetzt. Für die Implementierung in meine Homepage kristallisierte sich das WordPress-Plugin von QSM heraus. Mit Tutorials und weiterführenden Anleitungen habe ich mich mit diesem Plugin intensiv beschäftigt, was auch den grössten zeitlichen Aufwand generiert hat. Nachdem ich das Plugin erfolgreich in die Homepage integrieren konnte, ging es an die inhaltliche Ausarbeitung. Ziel war es Prüfungsfragen zu erstellen, welche die Kriterien guter MC-Fragen erfüllen. Mit dieser Thematik hatte ich mich bereits vor dem Modul auseinandergesetzt, da ich im Rahmen meiner Dozententätigkeit Prüfungsfragen für meinen Themenbereich erstellen musste. Zur Orientierung und Überprüfung nahm ich die sieben Prinzipien basierend auf Haladyna, T. et al. (2002) “A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment” zur Hand.
Die digitale Bildung hat im Bereich der Medizin & Andragogik noch viel Potenzial. Wie bereits erwähnt schwebt mir eine Vision vor, in der die gewonnenen Ressourcen aus diesem und weiteren Modulen von Bedeutung sein werden. Die Vision beinhaltet eine selbsterstellte Lernplattform für angehende und bereits ausgelernte Fachpersonen im Bereich der Präklinik. Nebst fachlichen Inhalten sollen zur Selbstüberprüfung auch qualitativ gute Prüfungsfragen implementiert werden. Die Vision könnte bis dahin gehen, dass auch themenbezogene E-Assessments absolviert werden können mit anschliessender Zertifikatsausgabe für den Nachweis der betrieblichen Fortbildungsstunden. Gerade der Bereich Fortbildung bietet diesbezüglich viel Potenzial, da jeder Rettungsdienst für seine Mitarbeitende pro Jahr 40 Fortbildungsstunden organisieren muss. Diese 40 Fortbildungsstunden pro Jahr werden von der Zertifizierungsstelle (IVR – Interverband für Rettungswesen) vorgeschrieben.
Persönlich bin ich mit dem bisherigen Resultat und der persönlichen Kompetenzerweiterung sehr zufrieden und es bietet viel Potenzial für die Weiterentwicklung. Ich bin gespannt, wo die Reise mit den weiteren Modulen noch hinführen wird und ob meine Vision eines Tages verwirklicht werden kann.