Beobachtung in simulierter Umgebung

Diese Übersetzung ist aktuell in Arbeit. Der englische Originaltext wurde beibehalten, um die Übersetzung diskutieren zu können. Er wird entfernt, sobald die Übersetzer zu einer guten Lösung gekommen sind.

Description | Beschreibung

The simulated environment reflects a real live situation, but is standardised. This makes it possible to build in incentives for behaviour or choices. The situation can be a "copy" of a real live situation, but also a role play (for more behaviour skills). The candidate is observed in this simulated situation.

This method is used for skills that can be shown in the workspace. The assessment method allows to test very specific competences, as the environment can be controlled. Mainly for practical, observable skills.

Die simulierte Umgebung bildet eine lebensechte Situation in genau definierter Weise ab. Dadurch lassen sich Anreize für Verhaltensweisen oder Entscheidungen schaffen. Die Situation kann eine Nachbildung der Realität oder auch ein Rollenspiel sein (letzteres für Fähigkeiten, die eher Verhaltenscharakter haben). Der Prüfling wird in dieser simulierten Umgebung beobachtet.

Quality Concepts | Qualitätskriterien

Validity | Validität

Since all factors are under control, the internal validity of this method is high. The method excludes unpredictability of situation and environment. So, it is easier to ensure safety. Very specific competencies can be tested. Since the behavior of people can change as a result of the observation situation (Hawthorne effect), internal validity is also threatened. This effect can be partially reduced if the work situation is only filmed (indirect observation). Since it is less a real-life situation, the external validity (transferability) of the observed behavior is lower. A good test will reflect real life situations in a controlled environment as much as possible.

Weil alle Variablen kontrollierbar sind, ist die interne Validität dieser Methode hoch. Sie vermeidet Unvorhersehbarkeiten der Situation und der Umgebung. Gleichfalls ist es leichter, Sicherheit zu garantieren. Es lassen sich sehr spezifische Kompetenzen testen. Die interne Validität kann aber darunter leiden, dass sich das Verhalten des Prüflings durch die Beobachtungssituation unter Umständen verändert (Hawthorne-Effekt). Dieser Effekt lässt sich abschwächen, wenn die Arbeitssituation lediglich gefilmt, also indirekt beobachtet wird. Weil die Situation die Realität nicht perfekt nachbildet, ist die externe Validität (also die Übertragbarkeit) des beobachteten Verhaltens geringer. Ein guter Versuchsaufbau wird die Realität in einer kontrollierten Umgebung so genau es geht wiedergeben.

Reliability | Reliabilität

The quality of simulated environment observation depends on the accuracy and repeatability of the test setup. Simulated environments guarantee equal treatment of candidates, the result should be identical, wherever and by whatever assessors they are conducted. Therefore every candidate is assessed in an identical situation. One of the elements in this are well trained assessors and a levelling system, this avoids that assessment would be biased by assessors influenced by previous tests or looking outside the competences to for example not occupation related behaviour. The reliability is increased by the possibility to easily develop exact observable criteria.

Die Beobachtungsqualität in einer simulierten Umgebung hängt von der Genauigkeit und Wiederholbarkeit des Versuchsaufbaus ab. Simulierte Umgebungen garantieren, dass alle Prüflinge gleich behandelt werden. Die Ergebnisse sollten unabhängig von Ort und Assessor übereinstimmen. Ein wesentlicher Faktor sind gut ausgebildete Assessoren und ein Referenzsystem, das Befangenheit durch frühere Versuchsdurchgänge oder Beeinflussung durch Faktoren außerhalb der Prüfkriterien verhindert. Die Reliabilität wird erhöht, indem die Möglichkeit zur Entwicklung von genau beobachtbaren Kriterien geschaffen wird.

Limitations | Einschränkungen

Development of an assessment set-up is time consuming.

Die Entwicklung eines solchen Versuchsaufbaus ist zeitaufwändig.

Considerations | Überlegungen

Tips | Hinweise

Organise the test in a way that the candidate feels at ease. If it is a tradition to have a cup of coffee at the start of a working day, include this in the startup of the test. Give the candidate time to discover the situation. Do not built in traps or tricky situations that hardly ever occur in real life. Be clear and open about the role and activities of the observers. Attention points can be:

Observers write also about positive points. Observers are silent, because they keep a distance. Observers will only stop the test in case of danger or overtime.

Gestalte den Test so, dass die Probanden sich wohlfühlen. Wenn ein Arbeitstag üblicherweise mit einer Tasse Kaffee beginnt, sollte diese auch Bestandteil des Prüfungsablaufs sein.

Probanden sollten Zeit bekommen, die Situation zu erfassen.

Baue kein Fallen oder komplizierte Situationen ein, die so kaum in der Realität vorkommen.

Erläutere die Rolle der Beobachter unmissverständlich und transparent. Weise darauf hin, dass:

• Beobachter auch positive Anmerkungen aufschreiben;
• Beobachter schweigen, weil sie Distanz bewahren möchten;
• Beobachter den Prüfungsvorgang nur bei Gefahr oder Zeitüberschreitung unterbrechen werden.

Traps | Schwierigkeiten

If the candidate needs support, the assistant must be trained to limit the intervention to what the candidate requires and not (as we would do in reality) to take over the decision-making process or be proactive. There is a risk that the assessor is biased. That is why assessors should be professionals from the field of competences being assessed. Assessors have to be aware that there are different methods to perform a specific task and should take distance from one prefered method, for as far as the goal is reached.

Wenn der Prüfling Hilfe benötigt, muss der Assisstent darauf ausgebildet sein, die Intervention auf das unmittelbare Bedürfnis zu beschränken und nicht (wie wir es im Arbeitsalltag tun würden), Entscheidungen zu übernehmen oder proaktiv zu handeln.

Es besteht das Risiko, dass der Assessor voreingenommen ist. Aus diesem Grund sollten Assessoren erfahrene Praktiker in dem Kompetenzfeld sein, das geprüft wird. Sie müssen sich bewusst machen, dass es verschiedene Ansätze geben kann, eine Aufgabe zu erledigen, und sollten keine Methode bevorzugen, solange das Ziel erreicht wird.

Scoring Tools | Werkzeuge zur Auswertung

Observing can be done through a list of observable criteria. The criteria should be derived from the sectoral layer skills, in other words, they are a concretisation of the visible, observable result of the skill in a specific situation. As the situation is always identical, the scoring tool can be very specific and leave little room for interpretation. The final decision is made based on the link of the criteria with the competence and by comparing the observations of the different assessors.

Die Beobachtung kann anhand einer Liste beobachtbarer Kriterien erfolgen. Diese sollten aus den Fertigkeiten der sektoralen Ebene abgeleitet sein. In anderen Worten: sie sind die Konkretisierung eines sichtbaren und beobachtbaren Resultats der Fertigkeit in einer bestimmten Situation. Weil die Situation immer gleich ist, kann das Auswertungswerkzeug sehr spezisch sein und dadurch den Interpretationsspielraum eingrenzen. Die Entscheidung fällt letztlich aufgrund der Verbindung der Kriterien mit der Kompetenz, und durch den Vergleich der Beobachtungen der verschiedenen Assessoren.

Implementation | Implementierung

Information for Standard | Spezifizierung in Standards

The standard must describe the specific situations, incentives and expected complexity of the skills to be assessed.

Ein Standard muss die genauen Situationen, Anreize und den erwarteten Schwierigkeitsgrad der Fertigkeiten, die geprüft werden sollen, genau beschreiben.

Development | Entwicklung

The development of an observation in a simulated environment starts with the analysis of the skills that need to be evaluated. Since not every skill can be tested in all variations, representative situations are chosen to reflect the mastery of the general skill. The skills are built into a well-chosen scenario that reflects a real-life experience, but also integrates behavioural incentives and choices. The candidate is asked to perform a task, but the environment limits or alters the way the task is performed. In this way, the candidate must make his/her own decisions. The activities should reflect different contexts. Often a skill or behavior is built in twice to improve reliability and avoid "false positives". Assessment facilities must be tested and updated before they are used with "real" candidates.

Die Entwicklung einer Beobachtung in simulierter Umgebung beginnt mit der Analyse der Fertigkeiten, die gemessen werden sollen. Weil nicht jede Fertigkeit in allen Variationen getestet werden kann, werden repräsentative Situationen ausgewählt, die die Beherrschung der Fertigkeit zeigen. Die Fertigkeiten sind in ein wohlüberlegtes Szenario eingebaut, das der Arbeitspraxis entspricht, aber auch Handlungsanreize und Entscheidungsmöglichkeiten bietet. Der Prüfling wird gebeten, eine Aufgabe auszuführen, aber die Situation beschränkt oder verändert die Ausführung. Dadurch muss der Prüfling Entscheidungen treffen. Die Tätigkeiten sollten verschiedene Kontexte umfassen. Oft wird eine Fertigkeit oder Verhaltensweise zweimal eingebaut, um die Reliabilität zu verbessern und falsch positive Bewertungen zu vermeiden. Prüfungsumgebungen müssen getestet und aktualisiert sein, bevor sie für echte Probanden genutzt werden.

Needs/Set-Up | Ressourcenbedarf/Aufbau

This is an observation in a “real life” professional setting. It must be organized as a normal day in the life of the candidate (= working day). One assessor could be acting as a “colleague” the other would assess from a distance. There could also be trained “colleagues” (must not have an assessor qualification), who “work with” the candidate in the observation environment. This is only necessary when a colleague is “physically” necessary to assess the competence at hand. One assessor can't oversee all activities, ideally there are at least two assessors, one who is observing from a distance and a second one observing close. Technical competence is relatively easy to assess. Knowledge behind the action can be assessed in most cases, if the test is prepared in the proper way. Competences are tested in the “group” working environment, as it is in reality. Several competences can almost always be assessed at one time. The proper atmosphere is very important. The assessments could be done at educational institutions with the necessary equipment.

Diese Beobachtung findet in einer lebensechten professionellen Umgebung statt. Sie muss wie ein normaler Arbeitstag des Prüflings aufgebaut sein. Ein Assessor könnte die Rolle eines "Kollegen" übernehmen, der andere beobachtet mit einigem Abstand. Auch kurz unterwiesene Kollegen ohne Assessor-Qualifikation, die mit dem Kandidaten in der Beobachtungsumgebung arbeiten, sind denkbar. Dies ist dann nötig, wenn eine Tätigkeit zwingend von mehr als einer Person ausgeführt werden muss, um eine Kompetenz bewerten zu können. Ein Assessor kann nicht alle Tätigkeiten überwachen; idealerweise hat man daher zwei, einer beobachtet auf Abstand, und der zweite aus der Nähe. Technische Kompetenz ist vergleichsweise einfach zu ermitteln. Hintergrundwissen kann meistens bewertet werden, wenn der Test entsprechend vorbereitet ist. Kompetenzen werden in der Gruppen-Arbeitsumgebung geprüft, so wie in der Realität. Meist lassen sich verschiedene Kompetenzen gleichzeitig prüfen. Die richtige Atmosphäre ist dabei entscheidend. Prüfungen können in Ausbildungsstätten, die über das notwendinge Material verfügen, durchgeführt werden.

Requirements for Assessors | Anforderungen an Assessoren

Assessors need competences for valid observations, such as those that can be acquired in observer training courses. They should have a basic knowledge of diagnostics, be able to deal with perceptual effects (e.g. errors of observation and assessment) and be able to recognize their own subjectivity. A professional competence is essential for the evaluation of the candidate's performance against the background of the assessment standard. It is also needed to construct a work situation appropriate to the competences to be assessed.

Prüfer müssen über die nötigen Kompetenzen für valide Beobachtungen verfügen, indem sie z.B. ein Beobachter-Training durchlaufen. Sie sollten Grundkenntnisse in Diagnostik haben, mit Wahrnehmungsartefakten umgehen können (z.B. Irrtümer bei Beobachtung und Bewertung) und sich ihrer eigenen Subjektivität bewusst sein. Professionelle Kompetenz ist unabdingbar für die Bewertung der Leistung des Prüflings vor dem Hintergrund des Bewertungsmaßstabs, und auch für die Herstellung einer Arbeitssituation, die den zu prüfenden Kompetenzen gerecht wird.

Examples | Beispiele

For the skill "Working on heights" a candidate should perform several activities on ladders, scaffolding, … Based on a checklist, his/her behaviour is observed.

Für die Fertigkeit "Arbeiten in der Höhe" sollte der Prüfling verschiedene Tätigkeiten auf Leitern, Gerüsten usw. ausführen. Das Verhalten wird anhand einer Checkliste beobachtet.

In Combination with | In Kombination mit

This Method can be combined with a criterion focused interviews to fill the gaps or skills that have not been observed (not negative or positive). It can be combined with a multiple choice or open answer test for knowledge that is not made visible in practice.

Diese Methode kann mit kriterien-basierten Interview kombiniert werden, um die Fertigkeiten zu erfassen, die nicht beobachtet werden konnten (weder positiv noch negativ). Ein Multiple-Choice-Test oder offene Fragen können Wissen prüfen, das in der praktischen Arbeit nicht sichbar wird.

References / Notes | Quellen / Hinweise

• Catalogus Assessmentmethodes voor EVC, Agentschap Hoger Onderwijs, volwassenenonderwijs, Kwalificaties en Studietoelagen, Ministery of education and training of the Flemish community (2015). Online: http://www.erkennenvancompetenties.be/evc-professionals/evc-toolbox/bestanden/catalogus-assessmentmethodes-evc-2015.pdf (last 17.08.2020)
• Jhpiego (2011): Simulation Training for Educators of Health Care Workers. Online: http://reprolineplus.org/system/files/resources/simulation_facilitatorsguide.pdf (last 05.08.2020)
• Multiprofessional Faculty Development (2012): Teaching and Learning in Simulated Environments. Online: https://faculty.londondeanery.ac.uk/e-learning/teaching-clinical-skills/teaching-and-learning-in-simulated-environments (last 05.08.2020)
• Scottish Qualifications Authority (2019): Guide to Assessment. Online: https://www.sqa.org.uk/files_ccc/Guide_To_Assessment.pdf (05.08.2020)
• Vincent-Lambert, C. / Bogossian, F. (2006): A guide for the assessment of clinical competence using simulation. Online: https://pdfs.semanticscholar.org/bda7/dae4871a49e19fd2cc186823379518e39192.pdf (last 05.08.2020)