Missing data due to a ‘checklist misconception-effect’

Summary.

Objectives: To analyze the extent and relevance of a postulated “checklist misconception-effect” (a specific response pattern characterized by symptom-free persons not checking the “not at all”-category).

Methods: Our data is derived from a survey of blue collar workers (n = 228) who previously had filed in applications for medical rehabilitation benefits. We defined the “checklist misconception-effect” by the following response pattern: (1) at least one missing value and (2) at least one valid item response and (3) no ‘not at all’ responses.

Results: 75% of the responders had complete data, 16.2% a postulated ‘checklist misconception-effect’. Substantial covariations with socio-demographic characteristics or health status indicators could not be found. Additional imputation of missing values under the assumption of a “checklist misconception-effect” led to a reduction of missing data in the somatisation-subscale score from 12.3% to 0.4% compared to a simple manual-based calculation. Correlation with various external criteria (general health perception, level of functioning, depression) remained unchanged.

Conclusions: Ignoring the “checklist misconception-effect” would overestimate symptom load. However, the validity of this effect has still to be proven in methodological studies.

Zusammenfassung.

Fehlende Werte durch den ‘Listenfragen-Fehldeutungseffekt’

Fragestellung: Item non-response kann die Gültigkeit von Studienergebnissen erheblich beeinträchtigen. Am Beispiel der Subskala Somatisierung der SCL-90-R postulieren wir ein Antwortmuster (‘Listenfragen- Fehldeutungseffekt’), bei dem die Probanden bei Beschwerdefreiheit statt der vorgesehenen ‘überhaupt nicht’-Kategorie keine Antwort markieren. Die vorliegende Studie analysiert Ausmaß und Bedeutung dieses ‘Listenfragen-Fehldeutungseffekts’.

Methoden: Als Analysegrundlage dient eine postalische Befragung von n = 228 Versichterten einer Arbeiterrentenversicherung mit Antrag auf medizinische Rehabilitation. Der ‘Listenfragen- Fehldeutungseffekt’ wurde operationalisiert durch Antwortmuster (1) mit mindestens einem fehlenden Wert und (2) mindestens einem gültigen Wert und (3) Fehlen von ‘überhaupt nicht’-Antworten.

Ergebnisse: 75% der Befragten hatten komplette Daten, 16,2% einen postulierten ‘Listenfragen-Fehldeutungseffekt’. Substanzielle Kovariationen mit soziodemografischen Merkmalen und Gesundheitsindikatoren wurden nicht gefunden. Durch zusätzliche Imputation der fehlenden Werte unter der Annahme des ‘Listenfragen-Fehldeutungseffekts’ reduzierte sich der Anteil fehlender Skalenwerte im Vergleich zur einfachen Manual-gestützen Vorgehensweise von 12,3% auf 0,4%. Korrelationen mit verschiedenen Außenkriterien (Gesundheitszustand, Funktionsfähigkeit, Depressivität) blieben konstant.

Schlussfolgerungen: Die Nicht-Berücksichtigung des ‘Listenfragen-Fehldeutungseffekts’ führt zu einer überschätzung der Symptomausprägung. Die Gültigkeit des Effekts muss in weiteren methodischen Studien überprüft werden.

Résumé.

Non-réponses dues à une mauvaise conception du questionnaire

Objectifs: Analyser l’importance d’un “checklist misconception-effect” (type de réponses dans lequel le sujet sans symptômes ne coche pas de réponse au lieu de cocher la réponse «pas du tout»).

Méthodes: Les données sont tirées d’une enquête par questionnaire postal auprès d’assurés (n = 228) d’une caisse de retraite ayant présenté un dossier pour un traitement de réadaptation. Le type de réponse dont il a été tenu compte pour identifier le “checklist misconception-effect” a été défini comme présentant (1) au moins une réponse manquante, (2) au moins une réponse valable (3), et aucune réponse «pas du tout».

Résultats: 75% des personnes interrogées ont répondu à toutes les questions; chez 16,2% des personnes on a pu suspecter un “checklist misconception-effect”. Nous n’avons pas trouvé de covariations substantielles avec des aspects sociodémographiques ou des indicateurs de santé. Partant de l’hypothèse que ce “checklist misconception-effect” existe, les valeurs manquantes peuvent être remplacées et le nombre de réponses manquantes diminue par rapport au procédé conventionnel de 12,3% à 0,4%. Les corrélations avec divers critères (état de santé, vitalité, tendance dépressive) restent alors constantes.

Conclusions: En ne tenant pas compte de ce “checklist misconception-effect” on induit une surestimation de l’intensité des symptômes. La validité de cet effet reste à vérifier par d’autres études.