Die Auswahl der Evaluationsmethode orientiert sich an der Zielsetzung und der gewählten Strategie. Es lassen sich grundsätzlich drei Erhebungsmethoden unterscheiden

» nicht-reaktive Datenerhebung (Logfile, Beobachtung etc.)
» Befragung (Online-Fragebogen etc.)
» Testung (Online-Experiment)

In diesem Zusammenhang wird vor allem auf die Möglichkeiten und Probleme der Evaluation beim Einsatz von Multimedia eingegangen. Für grundlegende Fragen zu evaluativen Methoden wird auf die einschlägige Literatur verwiesen. (siehe z.B. J. Bortz & N. Döring (1995) Forschungsmethoden und Evaluation)

Vorzüge bieten die Möglichkeiten der nicht-eingreifenden Datenerhebung bei elektronischen Medien z.B. über den Einsatz von Logfiles oder computergestützten Videoaufzeichnungen. Auf diese Weise sind Beobachtungsdaten teilweise leichter und detaillierter zu erheben als bei Live-Beobachtungen oder per Videoauswertung. Dies ermöglicht auch die Erhebung von Daten, die anders nicht mit einer gleichen ökologischen Validität erhalten werden könnten, da viele Beobachtungsmaßnahmen den Beobachteten beeinflussen. Allerdings kann per Logfile nur die Interaktion mit dem System protokolliert werden, alle anderen Daten müssen auch weiterhin „per Hand“ erfasst werden und auch die Auswertung der erhaltenen Daten kann oft nur teilweise automatisiert werden.

Zu beachten ist bei solchen Erhebungsmaßnahmen weiterhin, dass generell der Anwender über die Erfassung seiner Daten informiert sein muss. Im Rahmen eines Web-Experimentes ist dies meist unproblematisch, bei der Erhebung im Rahmen einer Lehrveranstaltung sollte aber explizit darauf hingewiesen bzw. die Teilnehmer um Erlaubnis gefragt werden. Auch die Anonymität des einzelnen Nutzers muss ggf. sichergestellt werden können.

Bei Einsatz von Online-Fragebögen können die anfallenden Datenmengen leicht erfasst und ausgewertet werden. Ein Vorteil, aber auch ein Kritikpunkt stellt die Erreichbarkeit der Versuchspersonen da. Per Online-Befragung können Personen weitgehend unabhängig von ihrem Aufenthaltsort erfasst werden, es steht also ein breites, vor allem geographisches Spektrum offen. Allerdings können keine Personen in die Befragung einbezogen werden, die keinen Zugang zu den entsprechenden Technologien haben oder von diesen abgeschreckt werden. Hier muss abgewogen werden, welche Zielgruppe mit der Befragung erreicht werden soll. Dient die Befragung allerdings nur begleitend zur Evaluation eines multimedialen Lernangebotes, dürften in dieser Richtung keine Problem zu erwarten sein.

Zur Beeinflussung der Befragungsergebnisse durch die Form der Befragung mittels neuer Medien liegen bis jetzt noch keine umfassenden Untersuchungen vor. Im allgemeinen dürfte dies aber unproblematisch sein, wenn eine ausreichende Gewöhnung des Befragten im Umgang mit der jeweiligen Technologie vorausgesetzt werden kann.

Bei einer elektronisch unterstützten Befragung sollte besonders darauf geachtet werden, dass die Eingaben nicht durch designtechnische Fehlerquellen(zu geringer Zeilenabstand, dicht beieinanderliegende Felder) verzerrt werden. Wenn eine spontane Antwort des Befragten wichtig ist, müssen spätere Änderungen der Antworten durch entsprechende technische Einstellungen ausgeschlossen werden.

Online-Experimente können eigenständig oder als Teil eines Lernangebotes eingesetzt und evaluiert werden. Auch das Lernangebot selbst kann Teil eines Online-Experiments sein. Hinsichtlich möglicher Schwierigkeiten gelten die bei der nicht-reaktiven Datenerfassung und der Online-Befragung angeführten Punkte entsprechend.

Der Vorteil von computergestützten Experimenten ist, dass verhältnissmässig leicht Anpassungen für den individuellen Teilnehmer vorgenommen werden können. So kann eine Vielzahl von unterschiedlichen Bedingungen innerhalb des gleichen Experimentes realisiert werden. Durch die realitätsnähere Darstellung kann die Beschreibung von relevanten Situationen verbessert werden, was z.B. bei Untersuchungen mit Kindern den Motivationsfaktor erhöhen kann. Durch den Einsatz von Simulationen kann auch an Stelle einer Befragung das Verhalten des Probanden direkt erhoben werden.Bei Tests mit Zeitbeschtänkung kann diese durch den Computer exakt vorgegeben und die jeweilige Antwort registriert werden, was die Genauigkeit erhöht. Hier kann auf diese Weise auch das Risiko von Versuchleitereffekten reduziert werden (mit der Einschränkung, dass der Rechner an sich natürlich selbst eine Art Versuchsleitereffekt hervorrufen kann).

[nach oben]