Formation and utilization of the visual and verbal codes of pictures and words

Summary

Paivio's dual coding hypothesis proposes that the retention of pictures and concrete words can be mediated by both visual and verbal codes. The present study investigates the time course of the formation and utilization of the visual and verbal codes of pictures and words in a “same”-“different” RT-task involving physical (Picture-Picture; Word-Word) and semantic (Word-Picture; Picture-Word) matches. The ISI was varied between 50 and 2000 msec. The four matching conditions were either constant within a block of trials (Exp. I) or partially mixed (Exp. II). Exp. I showed that at long ISIs (>500 msec.) the comparisons in all matching conditions were based on visual codes; Ss either retained the visual code of the first stimulus (physical matches) or generated the visual code of the expected second stimulus (semantic matches). Under the conditions of Exp. II the visual code of the first stimulus was not actively retained. Except for very short ISIs (≤250 msec.) only a single code, the verbal code was used for comparisons of all stimulus combinations. Paivio's dual code hypothesis thus must be modified to account for code utilization in a matching task. The comparison between “same” RTs of the physical match conditions from both experiments suggests that two stages of visual storage were involved in the task, viz. the visual sensory store for ISIs ≤250 msec. and the visual short-term store for ISIs ≥ 500 msec.

Zusammenfassung

In der „dual coding“ Hypothese von Paivio wird die Annahme gemacht, daß das Behalten von Bildern und konkreten Worten durch visuelle und verbale Codes vermittels werden kann. Die vorliegende Arbeit untersucht den zeitlichen Verlauf der Entstehung und Verwendung des visuellen und verbalen Codes von Bildern und Worten in einem „gleich“-„verschieden“ Paarvergleich RZ-Experiment, in dem „physische“ (Bild-Bild; Wort-Wort) und „semantische“ (Wort-Bild; Bild-Wort) Vergleiche zu leisten sind. Das Intervall zwischen den beiden Reizen wurde zwischen 50 und 2000 msec variiert. Die vier Vergleichsbedingungen wurden entweder in Versuchsdurchgängen getrennt (Exp. I) oder teilweise gemischt (Exp. II) geboten. Nach den Ergebnissen von Exp. I beruhten die Vergleiche bei längeren Intervallen (>500 msec) unter allen Bedingungen auf dem visuellen Code; die Vpn behielten entweder den visuellen Code des ersten Reizes („physische“ Vergleiche) oder erzeugten den visuellen Code des zu erwartenden zweiten Reizes („semantische“ Vergleiche). Unter den Bedingungen von Exp. II wurde der visuelle Code des ersten Reizes nicht aktiv behalten. Mit der Ausnahme sehr kurzer Intervalle (≤250 msec) beruhten die Vergleiche in allen Bedingungen ausschließlich auf dem verbalen Code. Damit muß Paivio's Hypothese modifiziert werden, wenn sie auf die Verwendung von Codes in einem Paarvergleich Experiment angewendet werden soll. Ein Vergleich der „gleich“ RZn von den „physischen“ Vergleichsbedingungen von Exp. I und II legt die Annahme nahe, daß zwei Stufen der visuellen Speicherung beim Vergleich eine Rolle spielen, nämlich der visuelle sensorische Speicher für Intervalle ≤250 msec und der visuelle Kurzzeit-speicher für Intervalle ≥ 500 msec.