Übungseffekte bei computergestützten psychologischen Leistungstests

Summary

OBJECTIVES: Reproducibility of results achieved by psychological performance tests is a precondition to quantify reliable cognitive and psychomotoric behaviour alterations after interventions. However, evidence exists that repeated processing leads to training effects which influence results. Therefore it is essential to elucidate these training effects. METHODS: Ten subjects (6 men and 4 women, 42 ± 12, 5 years) carried out two computer based performance tests of the "Wiener Testsystem" (WTS), the Determinationstest (DT) and the Arbeitsleistungsserie (ALS). Both tests were performed five times by each test person. Training effects and contrasts were analyzed with one-way analysis of variance (ANOVA) for repeated mea- sures. RESULTS: A significant "training" effect (p ≤ 0.05%) (base-line/first repetition) can be demonstrated in both tests. Improvements of reactive force, capacity and alertness (DT Subtest 1 and Subtest 2) are observed even up to the fifth processing. Except in "reaction time" (Subtest 2) subjects significantly improved. Similarly improvements were found for concentration (ALS) at the first and third time of test handling. Failures in processing "Arbeitsleistungsserie" (ALS) decreased with the third but increased at fourth test handling compared to previous level. Considering mean values highest improvements were found from base-line to first repetition (7,8–21%). Thereafter improvements of about 6% were observed. CONCLUSION: Repeated testing of computer-assisted cognitive and psychomotoric performance tests resulted in significant test improvements which are most likely caused by training effects and increased familiarity with the test system and therefore probably cannot be interpreted as real cognitive improvements. In conclusion, positive effects evaluated with performance tests, e.g. before and after interventions, should be interpreted with regard to these results.

Zusammenfassung

Die Reproduzierbarkeit von Ergebnissen, die mit psychologischen Leistungstests erzielt werden, sind Voraussetzung dafür, dass nach Interventionen kognitive und psychomotorische Veränderungen verlässlich quantifiziert werden können. Allerdings bestehen Hinweise dafür, dass durch wiederholtes Bearbeiten Trainingseffekte auftreten. Die Quantifizierung solcher Trainingseffekte ist deshalb essentiell. METHODEN: Zehn Probanden (6 männliche und 4 weibliche, 42 ± 12,5 Jahre) wurden gebeten jeweils fünf mal zwei spezielle Leistungstests aus der computergestützten Serie psychologischer Diagnostik des Wiener Testsystems (WTS), den Determinationstest (DT) und die Arbeitsleistungsserie (ALS) zu bearbeiten. Die Übungseffekte und Kontraste wurden mit einfaktorieller Varianzanalyse mit Messwiederholung berechnet. ERGEBNISSE: Ein signifikanter Effekt (p ≤ 0.05%) des Faktors "Übung" ("base-line" → erste Wiederholung) konnte für beide Tests festgestellt werden. Die Übungsgewinne waren sowohl für reaktive Belastbarkeit, Reaktionsgeschwindigkeit als auch für Aufmerksamkeit (DT Subtest 1 und Subtest 2) bis zur vierten Wiederholung steigerbar. Mit Ausnahme der Reaktionsgeschwindigkeit (Subtest 2) wurde eine signifikante Verbesserung bis zur fünften Bearbeitung festgestellt. Ebenso fand sich eine Steigerung der Konzentrationsleistung (ALS) bei der ersten und dritten Wiederholung. Eine Verringerung der Fehleranzahl (Leistungsgüte) war lediglich bei der dritten Wiederholung (vierter Bearbeitung) festzustellen, während bei der fünften Bearbeitung wieder mehr Fehler im Vergleich zur vorherigen Stufe gemacht wurden. Die größten prozentualen Übungsgewinne traten bei der ersten Wiederholung (7,8–21,3%) auf, danach war eine Leistungszunahme von über 6% auch nach drei Durchgängen noch möglich. ZUSAMMENFASSUNG: Bei computergestützt durchgeführten kognitiven und psychomotorischen Leistungstests treten bei wiederholten Bearbeitungen signifikante Leistungssteigerungen auf, welche vermutlich eher auf Übungseffekte und die zunehmende Vertrautheit mit dem Test zurückzuführen sind, als dass es sich um tatsächliche kognitive Verbesserungen handelt. Bei der Interpretation der Ergebnisse von Leistungstests, die z.B. vor und nach Interventionen erstellt werden, sollten diese Resultate berücksichtigt werden.