Measurement of behaviour difficulties in children using standard scales administered to mothers by computer: Reliability and validity

Abstract

72 child psychiatric and 50 paediatric outpatients were included in a study looking at the Rutter A (2) Scale and the Child Behaviour Checklist (CBCL) completed by mothers. Automated administration with recorded voice as well as visual display of written questions was compared to standard administration: pen and paper with the Rutter Scale and a psychologist asking the CBCL questions. A proportion of each group of cases was re-assessed some weeks later. Each sample of cases was randomly assigned to one of four groups (1st occasion-2nd occasion): computer-computer, standard-standard, computer-standard and standard-computer. Within each, order of presentation of the scales was also randomly allocated. Analyses of variance did not reveal differences in Rutter or CBCL total scores between the computer and standard methods of administration at the time of the initial assessment. Intraclass correlation coefficients indicated high test-retest reliabilities within the 4 subgroups. ROC (Relative Operating Characteristics) analysis showed both scales to be effective in discriminating between paediatric and psychiatric cases with cut-off points of 13 or more on the Rutter Scale and 42 or more on the CBCL, using either computer or standard methods of administration. For routine clinical use the Rutter A (2) Scale administered by computer is to be preferred because of its good test-retest reliability, high concurrent and criterion validity, as well as its brevity, acceptability and ease of administration.

Résumé

72 enfants consultant en psychiatrie, et 50 en pédiatrie furent inclus dans un étude comportant l'échelle A de Rutter et la Child Behavior Check List (CBSL) complétées par les mères. L'administration automatisée avec une voix enregistrée ainsi que le déroulement visuel de questions écrites ont été comparées à l'administration standard: crayon et papier pour l'échelle de Rutter et un psychologue posant les questions du CBCL. Une proportion de chaque groupe de cas a été réevaluée quelques semaines plus tard. Chaque échantillon de cas fut apparié à un des quatre groupes (première passation, deuxième passation): ordinateur-ordinateuer, standard-standard, ordinateur-standard et standardordinateur. A l'intérieur de chacun, l'ordre de présentation des échelles fut aussi distribué au hasard. Les analyses de variance ne révèlent pas de différences aux scores totaux de Rutter ou du CBCL entre les méthodes d'administration par ordinateur ou standard au moment de l'évaluation initiale. Les coefficients de corrélation intraclasses indiquent une grande fiabilité test-restest à l'intérieur des 4 sous-groupes. L'analyse ROC (Relation Operating Characteristics) a montré que les deux échelles étaient efficaces dans la discrimination entre les cas pédiatriques et psychiatriques avec un point de rupture de 13 ou plus à l'échelle de Rutter et de 42 ou plus à la CBCL, que l'on utilise l'ordinateur ou les méthodes standard d'administration. Pour un usage clinique de routine l'échelle de Rutter A administrée par ordinateur est préférable du fait de sa bonne fiabilité test-retest, son haut degré de validité, ainsi que de sa briéveté, sa bonne acceptabilité et sa facilité d'administration.

Zusammenfassung

Es wurden 72 kinderpsychiatrische und 50 pädiatrische ambulante Patienten in einer Studie mit der von der Mutter ausgefüllten Rutter A (2)-Skala und der Child Behavior Checklist (CBCL) untersucht. Teile beider Stichproben wurden auf die gleiche Weise einige Wochen später erneut erfasst. Eine automatisierte Vorgabe mit Stimme vom Tonband sowie visueller Wiedergabe der geschriebenen Fragen wurde mit der Standardvorgabe verglichen: Papier- und Bleistiftform der Rutter-Skala und Vorgabe der CBCL-Fragen durch einen Psychologen. Beide Stichproben wurden nach Zufall auf eine der vier Gruppen (erster Test-Retest) verteilt: Computer-Computer, Standard-Standard, Computer-Standard und Standard-Computer. Innerhalb jeder Gruppe wurde die Reihenfolge der Präsentation der Skalen ebenfalls randomisiert. Varianzanalysen ergaben für die Gesamtwerte der beiden Fragebögen keine Unterschiede zwischen den Computer- und Standardvorgaben zum Zeitpunkt der Erstuntersuchung. Intraklassenkoeffizienten verwiesen auf eine hohe Retest-Reliabilität innerhalb der vier Subgruppen. ROC (Relative Operating Characteristics)-Analysen zeigten, dass beide Skalen zwischen pädiatrischen und psychiatrischen Fällen angemessen diskriminieren, wobei die Cut-off-Werte 13 oder mehr für die Rutter-Skala und 42 oder mehr für die CBCL betrugen und Computer- oder Standardvorgabe eingesetzt wurden. Für den klinischen Routine-Einsatz wurden Gründe vorgetragen, die vom Computer vorgegebene Rutter A (2)-Skala vorzuziehen.