a Dr. med. et MME, PhD, wissenschaftliche Mitarbeiterin, Abteilung für Assessment und Evaluation, Institut für Medizinische Lehre (IML), Universität Bern, b PhD, wissenschaftliche Mitarbeiterin, Abteilung für Assessment und Evaluation, IML, Universität Bern, c Prof. Dr. Dr. med. et MME, Abteilungsleiter, Abteilung für Assessment und Evaluation, IML, Universität Bern
AssessmentDieser Artikel der Themenserie zur kompetenzbasierten Bildung befasst sich mit Multisource-Feedback (MSF) als einem besonderen Format des arbeitsplatzbasierten Assessments. Die folgenden Ausführungen und Empfehlungen basieren auf der internationalen Literatur und eigenen Studien im Kontext der schweizerischen Weiterbildung.
Kompetenzbasierte Bildung (Competency-Based Medical Education, CBME) legt den Fokus auf die für den Berufsalltag relevanten Kompetenzen von Weiterzubildenden. Das Ziel ist es, Fertigkeiten, Wissen und Haltungen zu erwerben, um am Ende der Weiterbildung ohne Supervision sicher tätig sein zu können [1]. Um den Weiterzubildenden hierzu fokussiertes und unterstützendes Feedback zu geben, sind hochwertige arbeitsplatzbasierte Assessments notwendig.
Abbildung: Ablauf von Multisource-Feedback (MSF).
Nutzen von MSF
In der Weiterbildungsordnung des Schweizerischen Instituts für ärztliche Weiter- und Fortbildung (SIWF) werden aktuell vier arbeitsplatz-basierte Assessments pro Jahr empfohlen [2], die üblicherweise als Mini-CEX (Mini Clinical Evaluation Exercise) oder DOPS (Direct Observation of Procedural Skills) stattfinden. Multisource-Feedback (MSF), auch als 360°-Feedback oder 360°-Assessment bezeichnet, ist ein weiteres Format der arbeitsplatzbasierten Assessments, welches ebenfalls eingesetzt werden kann und zusätzliche Informationen liefert.
Zwei wesentliche Merkmale unterscheiden MSF von anderen arbeitsplatzbasierten Assessments: Erstens wird nicht nur eine Situation beobachtet, sondern ein längerer Zeitraum. Zweitens wird die Bewertung von mehreren Personen aus dem Arbeitsumfeld gegeben. So können Situationen und Verhaltensweisen bewertet werden, die bei einmaliger Beobachtung nicht gut zu erfassen sind. Indem MSF diese zusätzliche Perspektive bietet, kann es die Kommunikation mit Patientinnen, Patienten und deren Familien, die Kommunikation mit Personen aus anderen Gesundheitsberufen und das professionelle Verhalten verbessern [3, 12].
Wie funktioniert MSF?
Multisource-Feedback umfasst Feedback, das in regelmässigen Abständen von Mitarbeitenden verschiedener Tätigkeitsbereiche gegeben wird [4–6]. Einbezogen werden die Personen, mit denen die Weiterzubildenden je nach Fachgebiet Kontakte haben, zum Beispiel: Pflegefachpersonen, Personen aus Therapieberufen, Ärztinnen und Ärzte des eigenen oder anderer Fachgebiete, Peers, die sich selbst in ärztlicher Weiterbildung befinden und Weiterbildungsverantwortliche. Hierfür wird ein (online-) Fragebogen verwendet, der verschiedene Kriterien der ärztlichen Kompetenz beschreibt. Im Feedback-Gespräch fasst eine Supervisionsperson das gesammelte anonyme, schriftliche Feedback für die Weiterzubildenden zusammen. Auf Basis dieser Daten und der Selbsteinschätzung der Weiterzubildenden werden gemeinsam Entwicklungsziele formuliert, siehe Abbildung.
Der/die Weiterzubildende steht im Fokus und wird von Kollegen und Kolleginnen aus dem Arbeitsumfeld bewertet. Die schriftlichen Bewertungen werden der Supervisionsperson zugestellt. In einem gemeinsamen Gespräch legen die Supervisionsperson und der/die Weiterzubildende basierend auf der Zusammenschau der Bewertungen individuelle Entwicklungsziele fest.
Empfehlungen zum Einsatz
Schulung aller Beteiligten
Es ist zentral, dass alle Teilnehmenden des MSF (Ärztinnen und Ärzte in Weiterbildung, Feedback-Gebende und Supervisionspersonen) im Rahmen der Implementierung von MSF geschult werden [6]. Die Schulung sollte das Ziel des MSF in dieser Klinik/Institution, den konkreten Inhalt und die Verwendung des Fragebogens mit seiner Bewertungsskala thematisieren. Darüber hinaus sollten allgemeine Regeln für das Geben und Empfangen von – insbesondere auch schriftlichem – Feedback besprochen werden. Aufgrund des regelmässigen Personalwechsels an Kliniken scheint eine (zusätzliche) schriftliche Information zweckmässig. Die Supervisionspersonen sollten zudem eine Schulung erhalten für ihre spezifischen Aufgaben im Feedback-Gespräch inklusive der Formulierung von Lernzielen. Die Autorinnen und der Autor können bei Bedarf konkrete Informationen zur Schulung inklusive Material teilen.
Integration in bestehende Strukturen
Die Feedbackkultur und die Fähigkeit, in der ärztlichen Weiterbildung effektives Feedback zu geben, müssen aktiv gestaltet werden, zum Beispiel mit Schulungen und indem Zeit für regelmässiges Feedback vorgesehen wird [7, 8]. Wenn bereits eine gute Feedbackkultur in einer Abteilung besteht, kann MSF leichter implementiert werden.
Klar kommuniziertes Ziel des MSF
In der Literatur wird MSF mit verschiedenen Zielen beschrieben: formativ (um die Entwicklung zu fördern) oder summativ (zur Bewertung, ob eine Leistung ausreichend ist, als «Prüfung» oder «Überprüfung») [9]. Das formative oder summative Ziel des MSF, oder Unklarheiten dabei, können die Auswahl der Feedbackgebenden, die Ehrlichkeit der Bewertungen und die Akzeptanz beeinflussen. Wichtig ist daher, dass alle Beteiligten (Weiterzubildende, Feedback-Gebende und Supervisionspersonen) transparent über das Ziel des MSF informiert sind.
Verwendung des Fragebogens
Soweit möglich, sollte ein bereits vorhandener Fragebogen verwendet werden, da eine Neu-Erstellung grossen Aufwand verursacht. Der Fragebogen sollte auf seine Tauglichkeit am jeweiligen Standort überprüft werden, zum Beispiel während einer Pilotphase. Der von uns erstellte deutschsprachige MSF-Fragebogen ist an den CanMEDS-Rollen ausgerichtet und frei verfügbar [10].
Die meisten publizierten Fragebögen sehen die Möglichkeit zur Bewertung anhand einer Skala und mit Freitextkommentaren vor. Diese Kombination ist sinnvoll. Anhand der Skalenbewertungen können Entwicklungsfelder identifiziert werden und anhand der Freitextkommentare konkrete Entwicklungsziele abgeleitet werden. Damit Freitextkommentare besonders hilfreich sind, sollte das Formulieren von konstruktivem schriftlichem Feedback Element der Schulung sein. Der Einsatz von digitalisierten Fragebögen und die visuelle Aufbereitung der gesammelten Bewertungen erleichtern das Supervisions-Gespräch und sparen Zeit.
Auswahl der Feedbackgebenden
Wichtig ist, abhängig vom Fachgebiet, die Personen auszuwählen, mit denen die jeweiligen Weiterzubildenden viel zusammenarbeiten [6]. Es erscheint uns besonders wichtig, eine Vielfalt an Feedbackgebenden anzustreben, die ausreichende Beobachtungen und Rückmeldungen erwarten lassen.
Feedbackgespräch
Im Rahmen des Feedbackgesprächs ist die Selbsteinschätzung durch den Weiterzubildenden ein zentraler Baustein, um Lerneffekte zu unterstützen [11]. Allerdings ist die Selbsteinschätzung ebenso wie das Erhalten von Feedback eine Herausforderung für viele Weiterzubildenden und sollte daher durch die Supervisionsperson unterstützt werden, zum Beispiel indem die Supervisionsperson das Gespräch moderiert und als Dialog gestaltet, Daten verständlich zusammenfasst und hilft, Entwicklungsziele zu formulieren [8, 11–13].
Integration in ein Curriculum
MSF kann am besten genutzt werden, wenn es in Weiterbildungscurriculum und eine unterstützende Weiterbildungsstruktur eingebettet wird [8]. Es müssen ausreichend Ressourcen zugewiesen werden, welche eine qualitativ gute und regelmässige Durchführung (bestenfalls halbjährlich) sicherstellen. Hierunter fallen die Schulungen aller Beteiligten, die Wertschätzung des Feedbackgebens und des Feedbackgesprächs. Die kontinuierliche Begleitung der Weiterzubildenden durch eine Supervisionsperson (zum Beispiel weiterbildungsverantwortliche Person) ist empfehlenswert.
Ausblick
MSF kann die Entwicklung der Ärztinnen und Ärzte im Verlauf ihrer Weiterbildung wirksam unterstützen, indem die wertvollen Perspektiven verschiedener Mitarbeitender einbezogen werden. Um MSF mit vollem Potenial zu nutzen, können die oben beschriebenen Empfehlungen hilfreich sein. Bei Interesse an der Implementierung von MSF an einer Weiterbildungsstätte stehen wir gern für Fragen zur Verfügung und können Kontakt zu Standorten in der Schweiz herstellen, die MSF bereits nutzen.
Dr. med. Eva Hennel, PhD, MME
Sie forscht zu Feedback in der ärztlichen Weiterbildung.
Andrea Lörwald, PhD
In ihrem PhD-Projekt untersuchte sie, wie Mini-CEX und DOPS das Lernen
am Arbeitsplatz unterstützen.
Prof. Dr. Dr. med. et MME Sören
Huwendiek
Er ist Facharzt für Kinder- und Jugendmedizin und Abteilungsleiter am IML.
Beim Multisource-Feedback steht der/die Weiterzubildende im Fokus und wird von Kollegen und Kolleginnen aus dem Arbeitsumfeld bewertet.
1 Brodmann Maeder, M., L’ISFM et la formation médicale postgraduée basée sur les compétences. Bulletin des médecins suisses, 2022. 103(06): p. 169-169.
3 Hennel, E.K., et al., How does multisource feedback influence residency training? A qualitative case study. Med Educ, 2022. 56(6): p. 660–669.
4 Lockyer, J., Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof, 2003. 23(1): p. 4–12.
5 Donnon, T., et al., The reliability, validity, and feasibility of multisource feedback physician assessment: a systematic review. Acad Med, 2014. 89(3): p. 511-6.
6 Wood, L., et al., A literature review of multi-source feedback systems within and without health services, leading to 10 tips for their successful design. Med Teach, 2006. 28(7): p. e185-91.
7 Sargeant, J., Future research in feedback: how to use feedback and coaching conversations in a way that supports development of the individual as a self-directed learner and resilient professional. Academic Medicine, 2019. 94(11S): p. S9–S10.
8 Ramani, S., et al., Meaningful feedback through a sociocultural lens. Med Teach, 2019. 41(12): p. 1342–1352.
9 Kogan, J.R., E.S. Holmboe, and K.E. Hauer, Tools for direct observation and assessment of clinical skills of medical trainees: a systematic review. Jama, 2009. 302(12): p. 1316–1326.
10 Hennel, E.K., et al., A german-language competency-based multisource feedback instrument for residents: development and validity evidence. BMC medical education, 2020. 20(1): p. 1–13.
11 Sargeant, J., et al., Providing feedback: Exploring a model (emotion, content, outcomes) for facilitating multisource feedback. Medical Teacher, 2011. 33(9): p. 744–749.
12 Ferguson, J., J. Wakeling, and P. Bowie, Factors influencing the effectiveness of multisource feedback in improving the professional practice of medical doctors: a systematic review. BMC Medical Education, 2014. 14(1): p. 76.
13 Overeem, K., et al., Doctors’ perceptions of why 360°degree feedback does (not) work: a qualitative study. Medical education, 2009. 43(9): p. 874–882.
