The Comparison of Reliabilities in Dental Imaging Methods

Abstract.

Objectives: Common practice in the statistical comparison of imaging instruments with limited reproducibility consists in the separate estimation of the instrument's reliabilities. However, as soon as one of the imaging methods is subject to item-specific bias (which has to be expected in many dentomaxillofacial imaging procedures), this approach will end in severe errors in reliability computation and in corresponding erroneous clinical conclusions. This paper seeks to point out these effects and to illustrate a more appropriate model for the comparison of instrumental reliabilities.

Methods: A standard reliability model was adjusted for item-specific bias and illustrated by the comparison of twice repeated planimetric cephalometry versus twice repeated noninvasive orthodontic video imaging (based on the Digigraph^® 100 device) in 50 children; the anterior cranial base length was used for illustration.

Results: The proposed model revealed pronounced inferiority of the video-based imaging system concerning its reliability compared with the X-ray based standard. Analysis using separate estimation of the two reliabilities would result in the reverse conclusion and thus falsely establish video imaging, which is in fact less reliable, as a superior diagnostic method.

Conclusion: The reliabilities of dentomaxillofacial imaging methods have to be adjusted for potential item-specific bias to avoid the erroneous conclusion of the superiority of a diagnostic innovation.

Zusammenfassung.

Hintergrund: Eine nicht unübliche Praxis bei statistischen Vergleich bildgebender Verfahren von begrenzter Reproduzierbarkeit besteht in der separaten Schätzung der instrumentellen Reliabilitäten. Sobald jedoch die Ergebnisse eines der bildgebenden Verfahren einem Item-spezifischen Bias unterliegen (was für zahlreiche bildgebende Verfahren in der Zahnheilkunde zu erwarten steht), werden bei diesem Vorgehen die Reliabilitäten mitunter massiv verzerrt geschätzt; entsprechende fehlerhafte Schlussfolgerungen können resultieren. Diese tutorielle Arbeit möchte diesen Effekt aufzeigen und ein sachgerechteres Modell zum Vergleich instrumenteller Reliabilitäten illustrieren.

Methoden: Ein gängiges Reliabilitätsmodell wird an Item-spezifischen Bias adjustiert und am Vergleich der jeweils zweimal wiederholten röntgenbasierten planimetrischen Kephalometrie mit der nichtinvasiven kieferorthopädischen Videodigitalisierung (auf der Basis des Digigraph^® 100) bei 50 Kindern illustriert. Die vordere Schädelbasislänge wird als exemplarischer klinischer Endpunkt verwendet.

Ergebnisse: Das vorgeschlagene statistische Modell erlaubt den Beleg einer merklichen Unterlegenheit des Videosystems gegenüber dem röntgenbasierten Standard hinsichtlich der Reliabilität. Die separate Schätzung der beiden Reliabilitäten würde jedoch den umgekehrten Schluss nahe legen und somit fälschlicherweise die weniger reliable Diagnostik als überlegen darstellen.

Schlussfolgerung: Die Reliabilitäten bildgebender Verfahren in der Zahnheilkunde sollten grundsätzlich unter Adjustierung an Item-spezifischen Bias geschätzt werden, um fehlerhafte Schlussfolgerungen hinsichtlich der diagnostischen Überlegenheit eines Novums zu vermeiden.