Willkommen, schön sind Sie da!
Logo Ex Libris

Empfehlungen für die Gestaltung elektronischer Prüfungen an Hochschulen
Christine Epping

Inhaltsangabe:Einleitung: Wie können Leistungsnachweise im Sinne von Bologna angepasst oder verändert werden? Sind hier ... Weiterlesen
E-Books eignen sich auch für mobile Geräte (sehen Sie dazu die Anleitungen).
E-Books von Ex Libris sind mit Adobe DRM kopiergeschützt: Erfahren Sie mehr.
Weitere Informationen finden Sie hier.
PDF, 102 Seiten  Weitere Informationen
E-Books ganz einfach mit der kostenlosen Ex Libris-Reader-App lesen. Hier erhalten Sie Ihren Download-Link.
CHF 40.90
Download steht sofort bereit

Beschreibung

Inhaltsangabe:Einleitung: Wie können Leistungsnachweise im Sinne von Bologna angepasst oder verändert werden? Sind hier elektronische Prüfungen eine zeitgemäße Lösung? Können die neuen Techniken effizienter genutzt werden, indem man sich an Kriterien und Empfehlungen orientiert? Bereits Mitte der 1960er Jahre wurden zu eignungsdiagnostischen Zwecken elektronische Verfahren mit Hilfe des Computers eingesetzt. Anfang der 1970er entdeckten viele Menschen den PC als nützliches Werkzeug und etablierten in den 1990ern das WWW. Die frühen Erprobungen computerbasierter Diagnostik fanden vor allem in Organisationen mit hohen Bewerber- und Teilnehmerzahlen statt, wie dem Militär, den technischen Überwachungsvereinen und der Arbeitswelt. Die Auswertungsgeschwindigkeit und -zuverlässigkeit im Zusammenspiel mit standardisierten Applikationen wurden schon in den 1960ern als Vorteile identifiziert. Mittlerweile entwickelten sich zahlreiche Verfahren, die seit über zwanzig Jahren in Deutschland an Relevanz gewinnen haben. Der Computer hat sich zum integralen Bestandteil des diagnostischen Prozesses entwickelt. Die Unterstützung bei der Durchführung, Auswertung, Entwicklung, Evaluation und diagnostischen Urteilsbildung sind nur einige vorzuhebende Teilbereiche. Der Einsatz von internetbasierten, eignungsdiagnostischen Verfahren (E-Assessments) ist eine relativ junge Entwicklung, aufgrund dessen bislang wenige empirische Studien analysiert wurden. MICHEL (Geschäftsführer der DLGI ) prognostiziert aber, dass sich E-Assessments als Instrument durchsetzen und in Zukunft die papiergestützten Verfahren ablösen werden. Können diese Verfahren, die sich in der Wirtschaft etabliert haben, auch die Problematiken an den Hochschulen lösen? Zu den Problematiken zählt das gestiegene Prüfungsaufkommen als Konsequenz der Output- und Kompetenzorientierung des Bologna-Prozesses. Die am 19. Juni 1999 beschlossene Hochschulreform hat die Anforderung, bis Ende des Jahres 2010 einen einheitlichen europäischen Hochschulrahmen durch die Einführung von Bachelor- und Masterstudiengängen zu schaffen. Die Hochschullehre ist dadurch von hohen Anforderungen bestimmt, die eine erhebliche Veränderung von Lehr- und Lernprozessen in didaktischer, methodischer, organisatorischer und technischer Sicht mit sich bringen, um durch eine Reform der Studieninhalte eine bessere Strukturierung der Curricula herbeizuführen. Im Zuge dieser Veränderungen und der daraus entstandenen Modularisierung von [...]

Klappentext

Inhaltsangabe:Einleitung: Wie können Leistungsnachweise im Sinne von Bologna angepasst oder verändert werden? Sind hier elektronische Prüfungen eine zeitgemäße Lösung? Können die neuen Techniken effizienter genutzt werden, indem man sich an Kriterien und Empfehlungen orientiert? Bereits Mitte der 1960er Jahre wurden zu eignungsdiagnostischen Zwecken elektronische Verfahren mit Hilfe des Computers eingesetzt. Anfang der 1970er entdeckten viele Menschen den PC als nützliches Werkzeug und etablierten in den 1990ern das WWW. Die frühen Erprobungen computerbasierter Diagnostik fanden vor allem in Organisationen mit hohen Bewerber- und Teilnehmerzahlen statt, wie dem Militär, den technischen Überwachungsvereinen und der Arbeitswelt. Die Auswertungsgeschwindigkeit und -zuverlässigkeit im Zusammenspiel mit standardisierten Applikationen wurden schon in den 1960ern als Vorteile identifiziert. Mittlerweile entwickelten sich zahlreiche Verfahren, die seit über zwanzig Jahren in Deutschland an Relevanz gewinnen haben. Der Computer hat sich zum integralen Bestandteil des diagnostischen Prozesses entwickelt. Die Unterstützung bei der Durchführung, Auswertung, Entwicklung, Evaluation und diagnostischen Urteilsbildung sind nur einige vorzuhebende Teilbereiche. Der Einsatz von internetbasierten, eignungsdiagnostischen Verfahren (E-Assessments) ist eine relativ junge Entwicklung, aufgrund dessen bislang wenige empirische Studien analysiert wurden. MICHEL (Geschäftsführer der DLGI ) prognostiziert aber, dass sich E-Assessments als Instrument durchsetzen und in Zukunft die papiergestützten Verfahren ablösen werden. Können diese Verfahren, die sich in der Wirtschaft etabliert haben, auch die Problematiken an den Hochschulen lösen? Zu den Problematiken zählt das gestiegene Prüfungsaufkommen als Konsequenz der Output- und Kompetenzorientierung des Bologna-Prozesses. Die am 19. Juni 1999 beschlossene Hochschulreform hat die Anforderung, bis Ende des Jahres 2010 einen einheitlichen europäischen Hochschulrahmen durch die Einführung von Bachelor- und Masterstudiengängen zu schaffen. Die Hochschullehre ist dadurch von hohen Anforderungen bestimmt, die eine erhebliche Veränderung von Lehr- und Lernprozessen in didaktischer, methodischer, organisatorischer und technischer Sicht mit sich bringen, um durch eine Reform der Studieninhalte eine bessere Strukturierung der Curricula herbeizuführen. Im Zuge dieser Veränderungen und der daraus entstandenen Modularisierung von Prüfungen ist ein gestiegenes Aufkommen von Leistungsnachweisen zu verbuchen. Hier könnte die Effizienz der Prüfungsbewältigung durch eine automatisierte Auswertung erhöht werden. Auch stellen die steigenden Studierendenzahlen in Hinblick auf den doppelten Abiturjahrgang 2013 und der Aussetzung des Wehrdienstes eine weitere Herausforderung dar. Mit der Anwendung von E-Assessment-Systemen könnte eine regelmäßige und qualitative Durchführung von Lernfortschrittskontrollen an Hochschulen sicher gestellt werden. Es herrschen außerdem personelle sowie finanzielle Ressourcenengpässe vor, durch die eine Prüfungsdurchführung und -auswertung zur Belastung wird. Infolge des voraussichtlichen Erlasses der Studiengebühren in NRW im Winter 2011 wird sich diese Entwicklung noch weiter verschlechtern. In Massenstudienfächern, wie z. B. der Betriebswirtschaftslehre, sind Prüfungen unter diesen Bedingungen immer schwieriger umzusetzen. Durch das Hochschulfreiheitsgesetz und dem daraus gewachsenen Mitspracherecht der Universitäten werden die digitalen Medien in der Hochschullehre immer bedeutender. Im Rahmen dieser Veränderungen und Entwicklungen hinsichtlich der genannten Problematiken wird momentan vermehrt über elektronische Prüfungen als Lösung nachgedacht und vereinzelt bei der Vorbereitung, Durchführung und Nachbereitung universitärer Prüfungsszenarien akademischer Lehrveranstaltungen eingesetzt. Neue Prüfungsformen der Hochschulen hinken allerdings den Entwicklungen der Wirtschaft hinterher und so werden bis dato elektronische Prüfungen in der Umsetzung weitgehend vernachlässigt. Vor einigen Jahren stand noch die computerunterstützende Vermittlung von Wissen an erster Stelle heute drängt sich immer mehr die Computerunterstützung von Lernfortschrittskontrollen (englisch: Assessments) als freiwillige oder verpflichtend erforderliche Überprüfung des Lernfortschritts der Studierenden in den Vordergrund. Die Einführung von E-Learning-Systemen ist der Versuch einer Steigerung von Effizienz, Effektivität und Qualität der Lehre. Allerdings bestehen neben technischen und organisatorischen Einschränkungen weitere, meist subjektive Herausforderungen, die eine erfolgreiche Realisierung der durch die E-Assessment-Systeme gebotenen Möglichkeiten gefährden. Das Internet ist heute allgegenwärtig zu Hause, in der Bildung, im Beruf und in der Freizeit ist es kaum wegzudenken. Lerninhalte werden immer häufiger multimedial präsentiert und vermittelt und so scheint es widersprüchlich, die Lernerfolgskontrolle handschriftlich mit Papier und Stift durchzuführen auch deswegen ist die Benutzung von elektronisch gestützten Prüfungsformen in Betracht zu ziehen. Forschungen ergeben, dass die heutige Generation in elektronischen Tests bessere Ergebnisse erzielt, als in herkömmlichen, traditionellen Prüfungen. Studierende werden als Netzgeneration bezeichnet. Wer heute studiert, gehört zu den digital natives , die mit digitalen Medien aufgewachsen sind und diese ganz selbstverständlich für Informationen und Kommunikation nutzen (ARD/ZDF Online Studie von 2006). Studierende von heute wollen eine gute und zeitgemäße Vorbereitung für ihre berufliche Zukunft. Die Hochschule, deren Ziel es ist, Studierende kompetent auszubilden, sollte sich nicht auf vergangenheitsorientierte Normen aus traditionellen Prüfungen berufen, sondern auf die Zukunft. Da die Zukunft kaum prognostizierbar ist, sollte man sich mit den neusten Entwicklungen der Gegenwart beschäftigen und auseinandersetzen dazu gehören E-Assessments und ihre elektronischen Prüfungen. All die Entwicklungen und Veränderungen in den Hochschulen bedürfen Entwicklungen und Veränderungen in der Hochschuldidaktik und der damit einhergehenden Prüfungsmodalitäten. Aber wie wird eine elektronische Prüfung gestaltet? Wie handhaben andere Hochschulen diese Neuentwicklung? Was ist zu beachten, um einen Mehrwert zu generieren? Wie könnten Kriterien und Entscheidungshilfen zur Umsetzung hierzu definiert werden? In dieser Arbeit sollen unter genauer Betrachtung der Gütekriterien aus der traditionellen Testdiagnostik und anderen hieraus resultierenden Rahmenbedingungen Gestaltungsempfehlungen für elektronische Prüfungen entwickelt werden, um eine zeitgemäße, anspruchsvolle Leistungsbewertung zu gewährleisten. Unter einer Prüfungsdidaktik wird die Lehre vom wissenschaftlichen Prüfen unter der Berücksichtigung der Prüfenden und Prüflinge verstanden. Die Aufgabe und das Ziel einer optimal wissenschaftlichen Prüfungsdidaktik ist es, eine Objektivierung, Methodisierung und Standardisierung von Prüfungen zu gewährleisten. Um eine elektronische Klausur an Hochschulen anzubieten, muss sie gegenüber der traditionellen, schriftlichen oder auch mündlichen Leistungskontrolle einen Mehrwert für Dozierende, Institutionen und Studierende generieren. Es müssen zur Analyse etablierte Verfahren von elektronischen Prüfungen herangezogen werden, um in Bezug auf den daraus resultierenden Vor- und Nachteilen die Überprüfung der Gütekriterien vorzunehmen. Es muss analysiert werden, ob elektronische Leistungskontrollen den Anspruch einer einwandfreien Prüfung gerecht werden, diesen nicht entsprechen oder vielleicht die Anforderungen sogar übersteigen. Kriterien sorgen dafür, dass ein allgemeiner Standard bewahrt wird und dass die Leistungskontrolle das überprüft, was zuvor definiert wurde. Ziel dieser Arbeit ist es, Entscheidungshilfen in technischer, organisatorischer, methodischer und didaktischer Sicht für die Gestaltung elektronischer Prüfungen an Hochschulen zu erstellen. Über die genauen Definitionen und Begrifflichkeiten von E-Assessments und den dazu gehörenden elektronischen Prüfungen herrschen noch Unstimmigkeiten. So soll im folgenden zweiten Kapitel zuerst eine Einordnung von E-Assessments in der Hochschuldidaktik vorgenommen und verschiedene Formen der Umsetzung vorgestellt werden. Daran anschließend soll näher auf elektronische Prüfungen eingegangen werden, die einen Teilbereich des E-Assessments darstellen. Auch hier wird deren Bedeutung definiert. Es werden verschiedene Aufgabenformen dargestellt, um eine bessere Vorstellung von den Einsatzbereichen zu erhalten. Des Weiteren wird im zweiten Kapitel eine Konzeptdarstellung von drei repräsentativen Hochschulen vorgestellt, um einen späteren Vergleich der möglichen Verfahren vorzunehmen. Als Beispiele soll auf die Konzepte der Universität Bremen und dem dort etablierten Testcenter, der WWU Münster und deren Prüfungspools, sowie der FU Berlin, die Leistungsabfragen an studentischen Laptops durchführt, eingegangen werden. Diese drei Hochschulen wurden ausgewählt, da sie jeweils unterschiedliche Verfahren und Systeme entwickelt und erfolgreich in Hochschulen etabliert haben. Zudem wird im zweiten Kapitel eine genaue Abgrenzung von traditionellen zu elektronischen Prüfungen vorgenommen. Als Vergleich werden die Vor- und Nachteile der wichtigsten Institutionen in Hochschulen unter Betracht genommen. Sowohl die Dozierenden, die Verwaltung als auch die Studierenden erhoffen sich Vorteile aus der Umsetzung der neuen Prüfungsverfahren und werden aus diesem Grund genauer dargestellt. Zum Schluss wird zur Überschaubarkeit im Kapitel zwei ein Fazit gezogen, um auf die Generierung von Gestaltungskriterien von elektronischen Prüfungen in der Hochschullehre in Kapitel drei einzugehen. Zur Analyse der Gütekriterien wird die traditionelle Testdiagnostik herangezogen, um einen Vergleich zu herkömmlichen Prüfungen darstellen zu können. Als Hauptgütekriterien werden die Objektivität, Reliabilität und Validität sowie einige Nebengütekriterien untersucht. Aus den Ergebnissen werden die Vor- und Nachteile im Zusammenhang mit den vorherigen Auswertungen in Bezug genommen, um im nächsten Kapitel vier Gestaltungsempfehlungen zu elektronischen Prüfungen in der Hochschule in didaktischer, methodischer, organisatorischer und technischer Sicht zu entwickeln. Die Arbeit schließt mit einem Fazit ab. Inhaltsverzeichnis:Inhaltsverzeichnis: AbbildungsverzeichnisIII AbkürzungsverzeichnisIV 1.Einleitung1 1.1Problemstellung1 1.2Zielsetzung4 1.3Aufbau der Arbeit5 2.Elektronische Prüfungen in der Hochschullehre6 2.1Definitionen und Klärung der Begrifflichkeiten6 2.1.1E-Assessments7 2.1.1.1Definitionen8 2.1.1.2Formen von E-Assessments8 2.1.2Elektronische Prüfungen11 2.1.2.1Definitionen11 2.1.2.2Aufgabenformen von E-Prüfungen13 2.2Konzeptanalyse15 2.2.1Elektronische Prüfungen im Testcenter der Universität Bremen16 2.2.2LPLUS-computergestütztes System an der Westfälischen Wilhelms-Universität Münster20 2.2.3FU e-Examinations an der Freien Universität Berlin22 2.2.4Vergleich der Konzepte26 2.3Abgrenzung zwischen traditioneller und elektronischer Prüfung28 2.3.1Vergleich von traditioneller zu elektronischer Prüfung29 2.3.1 1Vor- und Nachteile für die Verwaltung31 2.3.1.2Vor- und Nachteile für die Dozierenden32 2.3.1.3Vor- und Nachteile für die Studierenden34 2.3.2Empirische Untersuchungen in den USA zu den Vor- und Nachteilen36 3.Kriterien zur Gestaltung elektronischer Prüfungen37 3.1Generierung allgemeiner Testgütekriterien38 3.1.1Hauptgütekriterium: Objektivität39 3.1.2Hauptgütekriterium: Reliabilität41 3.1.3Hauptgütekriterium: Validität45 3.1.4Nebengütekriterien48 3.1.5Fazit aus den Gütekriterien52 3.2Itemkennwerte53 4.Entscheidungshilfen für die Gestaltung elektronischer Prüfungen an Hochschulen54 4.1Technische Entscheidungshilfen57 4.2Methodische Entscheidungshilfen60 4.3Didaktische Entscheidungshilfen65 4.4Organisatorische Entscheidungshilfen69 5.Fazit und Ausblick71 LiteraturverzeichnisVI AnhangXXIII LebenslaufXXVIX Textprobe:Textprobe: Kapitel 3.1.1, Hauptgütekriterium: Objektivität: Das Gütekriterium Objektivität ist ein Maß des Gelingens einer Standardisierung des gesamten Prüfungsvorgangs. Sie beschreibt die Unabhängigkeit des Prüflings im Assessment-Verfahren und stellt eine notwendige Voraussetzung dar. Unter Objektivität versteht LIENERT den Grad der Unabhängigkeit der Ergebnisse eines Tests in Bezug auf die Testperson. Die Prüfung muss so beschaffen sein, dass die Ergebnisse bei der Durchführung nicht von den subjektiven Auffassungen des Prüfers und auch nicht von der Prüfungssituation beeinflusst werden. Auch hängt die Interpretation und Auswertung nicht von dem ausführenden Prüfungsleiter ab. Ein Test ist also dann objektiv, wenn der Merkmalswert, die Auswertung und Ergebnisinterpretation unabhängig vom Prüfer zu Stande kommen. Die Prüfung muss bei derselben Testperson zu unterschiedlichen Zeiten das gleiche Ergebnis erzielen oder reproduziert werden können. Dabei stellen zuvor definierte, transparente und gründlich dokumentierte Bewertungsunterlagen als präzise Musterlösung eine wichtige Voraussetzung der weitgehenden Standardisierung dar. Von diesem Idealfall ausgehend, kann eine Prüfung, je nach Grad der Ausführung, allerdings auch mehr oder weniger objektiv sein. Prüfungswiederholungen können praktisch nie unter genau denselben Bedingungen stattfinden, da allein der Übungseffekt zu unterschiedlichen Ergebnissen führt. Zur Beurteilung der Objektivität einer Prüfung kann zwischen Durchführungs-, Auswertungs- und Interpretationsobjektivität differenziert werden. Unter einer Durchführungsobjektivität (Testleiterunabhängigkeit) wird die Unabhängigkeit des Testergebnisses von den zufälligen oder systematischen Verhaltensvariationen des testdurchführenden Prüfenden verstanden. Um das Kriterium zu gewährleisten, sollte die Testdurchführung detailliert dargestellt und dokumentiert werden sowie Interaktion zwischen Prüfendem und Prüfling auf ein Minimum beschränkt werden. Auch die Prüfungssituation sollte so weit wie möglich standardisiert werden. Die Durchführungsobjektivität bezeichnet somit das Ausmaß, in dem Variationen im Verhalten des Prüfenden und der von diesem hergestellten Durchführungsbedingungen zu Veränderungen im Verhalten der Studierenden führen. Eine Auswertungsobjektivität (Verrechnungssicherheit) ist gegeben, wenn gleiches Verhalten eines Prüflings stets auf die gleiche Weise ausgewertet wird. Das Testergebnis kommt dabei ausschließlich aufgrund der zuvor dokumentierten Auswertungsvorschriften zu Stande. Die Auswertungsobjektivität zeigt, inwieweit die Auswertung der Prüfung unabhängig von personenbedingten oder apparativen Störquellen ist. So müssen die Reglementierungen, wie die einzelnen Testleistungen auf Items zu numerischen oder kategorialen Testwerten zu verrechnen sind, derart exakt festgelegt werden, dass jeder Auswerter zu denselben Ergebnissen kommt. Dies ist am ehesten gegeben, wenn der Prüfling nur mit richtig oder falsch antworten kann (Multiple Choice-Aufgabe). Von einer hohen Interpretationsobjektivität (Interpretationseindeutigkeit, Beurteilungsobjektivität) wird gesprochen, wenn verschiedene Prüfungsauswerter bei Personen mit demselben Test zu denselben Schlussfolgerungen und Ergebnissen gelangen. Durch eine Standardisierung der Prüfung an sich wie auch der Auswertung und der Rückmeldung kann die Objektivität erhöht werden. Die Prüfungssituationen mit Inhalten und Lösungen müssen zunächst in multipler Hinsicht beschrieben werden fachlich, interaktiv und psychologisch. Durch elektronische Prüfungen ist mit einer Erhöhung der Durchführungs-, Auswertungs- und Interpretationsobjektivität zu rechnen. Die Objektivität wird an allen drei Hochschulen durch Standardisierung der Testvorgabe, der Testinstruktion und Auswertungsroutinen bzw. -algorithmen verbessert, was zu einer Verringerung von Situations- und Testleitereffekte führt. Die gestiegene Testleiterunabhängigkeit ist auch die Folge einer geringeren Interaktion zwischen Prüfenden und Studierenden, die während der Prüfung mit dem Computer und nicht dem subjektiven Dozierenden arbeiten. Auch eine Verrechnungssicherheit ist bei einer PC-Auswertung gegeben, da sie maschinell und systematisch fehlerfrei erfolgt. Eine Verhaltensbeobachtung ist in der Form, wie sie an den Hochschulen angeboten wird, nicht möglich. Allerdings unterscheidet sich die Ausprägung der Objektivität an den drei Hochschulen. Übungseffekte sind vor allem in Bremen und Münster zu identifizieren. Durch die Möglichkeit zur Nutzung der Fragenkataloge zur Prüfungsvorbereitung (vor allem an der WWU Münster und Universität Bremen), können sich Studierende intensiv vorbereiten (Übungseffekte). Da dieses Angebot jedem Prüfungsberechtigten zusteht, haben die Studierende alle die gleichen Prüfungsvorbereitungsbedingungen. 3.1.2, Hauptgütekriterium: Reliabilität: Unter einer hohen Reliabilität (Zuverlässigkeit) wird eine hohe Messgenauigkeit (Präzision) eines bestimmten Merkmals in einem Test verstanden und somit die Zuverlässigkeit des Ergebnisses. Es geht um die formale Exaktheit der Merkmalserfassung in einer Prüfung. LIENERT beschreibt die Reliabilität eines eignungsdiagnostischen Tests daher als den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal misst, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht . Durch das Maß an Reproduzierbarkeit von Prüfungsergebnissen führt ein zuverlässiges Prüfungsverfahren bei Wiederholung der Prüfung mit denselben Personen zum exakt gleichen Ergebnis. Daher müssen zwei oder mehr Versionen einer Prüfung auch dieselben Ergebnisse liefern. Die Reliabilität beschreibt somit die Genauigkeit und Zuverlässigkeit der Überprüfung der vorher definierten Lernziele und Wiederholbarkeit der Prüfungsergebnisse. Die WWU Münster und FU Berlin arbeiten häufig mit gleichwertigen Prüfungen, wobei die Universität Bremen sich auf gleiche Prüfungen spezialisiert hat. Nie können gleichwertige Prüfungen vollständig dieselben Prüfungsinhalte wiederspiegeln. Werden den Teilnehmern unterschiedliche Aufgaben präsentiert, um z. B. das Abschreiben zu verringern oder Raumkapazitäten zu bewältigen, wie in Münster und Berlin, müssen gleich komplexe Aufgaben präsentiert werden. In der klassischen Testtheorie (KTT) existiert eine Reihe verschiedener statischer Verfahren zur empirischen Einschätzung der beobachteten Streuung von Messwerten aus Prüfungen, die tatsächlich auf Unterschiede im interessierenden Merkmal zurückzuführen sind. Ein Test ist dann perfekt reliabel, wenn er das Merkmal, das er misst, exakt (= ohne Messfehler) misst. Das Ausmaß der Reliabilität und somit der Anteil der Messfehler an der Messung wird in Reliabilitätskoeffizienten zwischen 0 und 1 (1 = ohne Messfehler) angegeben. Bei der Retest-Reliabilität wird ein Test zu zwei verschiedenen Zeitpunkten vorgelegt und die Korrelation zwischen den beiden ermittelt. Die innere Konsistenz wird angewandt, da es oftmals nicht möglich ist, eine Prüfung genauso zu wiederholen oder parallel anzubieten. Trivial ist schließlich die Idee, die Messgenauigkeit eines Tests danach zu beurteilen, wie sehr seine einzelnen Teile (Items) dasselbe messen. Selbstverständlich müssen die Items eines Tests immer innere Konsistenz im Sinne von auf sich selbst bezogene Übereinstimmung (Homogenität) zeigen, wenn sie zur Messung ein und derselben Eigenschaft herangezogen werden. Um über die Testhalbierungs-Reliabilität (Split-half-Reliabilität) die innere Konsistenz zu bestimmen, wird die Prüfung in zwei möglichst parallele Testhälften geteilt, um die Korrelation dieser zwei Hälften zu ermitteln und mit dem Korrekturfaktor wieder hochzurechnen. Bei der Alternativmessung mit Hilfe des Cronbachs alpha wird der Test in so viele Teile zerlegt, wie er Items hat. Die Paralleltest-Reliabilität geht davon aus, dass zwar nicht eine Testwiederholung mit den ursprünglichen Tests möglich ist, jedoch eine mit einer völlig gleichwertigen Nachahmung des Tests. Wenn zwei Testformen, die dasselbe Konstrukt mit unterschiedlichen Itemstichproben messen, gleiche wahre Werte und Fehlervarianzen aufweisen, besteht hier eine Reliabilität. Einflüsse, wie z. B. Übungs- und Erinnerungseffekte oder Merkmalsveränderungen, können hiermit kontrolliert werden. Bei der klassischen KTT ergeben sich im Gegensatz zu IRT größte Probleme, überhaupt Paralleltests zu erstellen. Die Korrelation zwischen Paralleltest und Test ist eigentlich nur ein Kriterium dafür, wie gut die Konstruktion des Paralleltests gelungen ist und weniger ein Kriterium für die Exaktheit der Messungen. Passen die Items der Prüfung nicht zueinander (keine Einheitlichkeit), dann wird das Testergebnis insbesondere bei Parallel- bzw. Retestung von Zufälligkeiten besonders stark abhängen, was die Exaktheit der Messung stark reduziert. Um einen reliablen Test abzusichern, werden häufig restriktive Vorgaben für die Prüfungsgestaltung gemacht. Schriftliche Prüfungen stehen im Bezug auf die Reliabilität häufig in der Kritik. Vor allem bei der Bewertung von Prüfungen aus Massenveranstaltungen und der damit verbundenen Korrekturen über einen längeren Zeitraum, ergeben sich Unterschiede in den Ergebnissen zwischen den einzelnen Korrektoren. Der Zeitpunkt der Korrektur (zu Beginn oder zum Schluss des Zeitraumes) ergibt verschiedene Bewertungen in der Beurteilung. Ursachen hierfür können in der möglichen Unlesbarkeit der Handschriften, der nachlassenden menschlichen Konzentration und Ermüdung liegen, wodurch Reihenfolge- und Positionseffekte denkbar sind. Durch die automatisierten Prüfungen der drei Hochschulen können diese Effekte behoben werden. Eine Maschine arbeitet systematisch ohne Leistungsnachlass. Durch die Automatisierung kann bei elektronischen Prüfungen gesichert werden, dass ein Proband tatsächlich auch alle Items vorgegeben bekommt und beantwortet. So führt eine entsprechende Verringerung der Mess- und Auswertungsfehler schließlich auch zu einer Verbesserung der Testreliabilität. Dank der elektronischen Erfassung der Daten ist die Reliabilität der Prüfungen etwa über Konsistenzanalysen einfacher messbar. Zudem kann durch statistische Analysen der Schwierigkeitsgrad und die Trennschärfe der Fragen, Themen und Prüfungen analysiert werden und unabhängige Durchläufe lassen sich leichter vergleichen. Insgesamt wurden 43 Studien (Stand 2009) zur Reliabilität durchgeführt. In Bezug auf Computer- bzw. Offline-basierten kognitiven Leistungstests wurde in zwölf Studien herausgefunden, dass es zu heterogenen Ergebnissen kommt, die Reliabilitätswerte aber relativ hohe Übereinstimmungen zwischen den verschiedenen Darbietungsmodi aufweisen. Auch fielen die Testergebnisse in den verschiedenen Computerversionen teilweise signifikant schlechter aus, bei anderen Tests aber teilweise signifikant besser. Die unterschiedlichen Ergebnisse können die Folge von heterogenen technischen Ausstattungen der computerbasierten Tests sein, die je nach Form zusätzliche Fehlervarianzen erzeugen und verschiedene Bearbeitungsreihenfolgemöglichkeiten der Items aufweisen sowie durch Einflussfaktoren auf Geschwindigkeit der Testbearbeitung verursacht werden.



Zusammenfassung
Inhaltsangabe:Einleitung:Wie können Leistungsnachweise im Sinne von Bologna angepasst oder verändert werden? Sind hier elektronische Prüfungen eine zeitgemäße Lösung? Können die neuen Techniken effizienter genutzt werden, indem man sich an Kriterien und Empfehlungen orientiert?Bereits Mitte der 1960er Jahre wurden zu eignungsdiagnostischen Zwecken elektronische Verfahren mit Hilfe des Computers eingesetzt. Anfang der 1970er entdeckten viele Menschen den PC als nützliches Werkzeug und etablierten in den 1990ern das WWW. Die frühen Erprobungen computerbasierter Diagnostik fanden vor allem in Organisationen mit hohen Bewerber- und Teilnehmerzahlen statt, wie dem Militär, den technischen Überwachungsvereinen und der Arbeitswelt. Die Auswertungsgeschwindigkeit und -zuverlässigkeit im Zusammenspiel mit standardisierten Applikationen wurden schon in den 1960ern als Vorteile identifiziert. Mittlerweile entwickelten sich zahlreiche Verfahren, die seit über zwanzig Jahren in Deutschland an Relevanz gewinnen haben. Der Computer hat sich zum integralen Bestandteil des diagnostischen Prozesses entwickelt. Die Unterstützung bei der Durchführung, Auswertung, Entwicklung, Evaluation und diagnostischen Urteilsbildung sind nur einige vorzuhebende Teilbereiche. Der Einsatz von internetbasierten, eignungsdiagnostischen Verfahren (E-Assessments) ist eine relativ junge Entwicklung, aufgrund dessen bislang wenige empirische Studien analysiert wurden. MICHEL (Geschäftsführer der DLGI ) prognostiziert aber, dass sich E-Assessments als Instrument durchsetzen und in Zukunft die papiergestützten Verfahren ablösen werden. Können diese Verfahren, die sich in der Wirtschaft etabliert haben, auch die Problematiken an den Hochschulen lösen?Zu den Problematiken zählt das gestiegene Prüfungsaufkommen als Konsequenz der Output- und Kompetenzorientierung des Bologna-Prozesses. Die am 19. Juni 1999 beschlossene Hochschulreform hat die Anforderung, bis Ende des Jahres 2010 einen einheitlichen europäischen Hochschulrahmen durch die Einführung von Bachelor- und Masterstudiengängen zu schaffen. Die Hochschullehre ist dadurch von hohen Anforderungen bestimmt, die eine erhebliche Veränderung von Lehr- und Lernprozessen in didaktischer, methodischer, organisatorischer und technischer Sicht mit sich bringen, um durch eine Reform der Studieninhalte eine bessere Strukturierung der Curricula herbeizuführen. Im Zuge dieser Veränderungen und der daraus entstandenen Modularisierung von []

Produktinformationen

Titel: Empfehlungen für die Gestaltung elektronischer Prüfungen an Hochschulen
Autor: Christine Epping
EAN: 9783842814356
ISBN: 978-3-8428-1435-6
Format: PDF
Herausgeber: Diplom.de
Genre: Innenarchitektur, Design
Anzahl Seiten: 102
Veröffentlichung: 16.05.2011
Jahr: 2011
Dateigrösse: 2.1 MB