Influence of Examiner Differences on KIG-Classification when Assessing Malocclusions

Abstract

Objective:

Indication systems such as the German KIG system (Kieferorthopädische Indikationsgruppen = Orthodontic Indication Groups) presuppose the objective assessment of underlying malocclusions. In this survey, we aimed to investigate the degree of agreement among the findings of several examiners in the assessment of different malocclusions and their classification according to the KIG system.

Subjects and Methods:

Calibrated examiners assessed in the clinical evaluation and on plaster models orthodontic malocclusions in 180 adults (aged 20–49, 64 male, 116 female) from the population-based Study of Health in Pomerania (SHIP). Clinical examination was carried out by an experienced orthodontist, and the plaster models were also analysed by an examiner experienced in orthodontics. To compare inter- and intra-individual model examiners, we had two examiners with differing orthodontic experience carry out additional analyses of 60 of the 180 models (29 male, 31 female).

Results:

The examiner differences yielded various KIG classifications and hence different assessments (i. e., whether KIG case-costs should be borne by health insurance). The comparison “clinical examination versus model analysis” revealed differences regarding 16.7% of the study participants in the assessment of whether the expense would be borne by the statutory health insurance fund. At 5.0–8.3%, the number of participants whose assessments had differed was much smaller in the inter-individual comparison of model-examiners and was smallest (at 3.3–6.7%) when comparison was made between intra-individual assessments (by a sole examiner). With regard to overall malocclusion assessment, the greatest examiner differences were again revealed when comparing the clinical examination with the model analysis (median kappa 0.57). The model-examiner comparison revealed larger differences among examiners with less orthodontic experience (median kappa 0.61 and 0.62) than the comparison between examiners with orthodontic experience (median kappa 0.70).

Conclusions:

There can occasionally be considerable examiner differences in the classification of participants according to orthodontic indication groups and hence varying assessments of whether such persons are KIG cases or not. Various means of data collection (clinical evaluation—plaster models) in the assessment of malocclusions by multiple examiners and by those with little orthodontic experience may negatively influence agreement among examiners.

Zusammenfassung

Ziel:

Indikationssysteme wie die „Kieferorthopädischen Indikationsgruppen“ (KIG) setzen eine objektive Bewertung der ihnen zugrunde liegenden Dysgnathiesymptome voraus. In der vorliegenden Untersuchung sollte erörtert werden, wie gut die Befunde mehrerer Untersucher bei der Erhebung unterschiedlicher Dysgnathiesymptome und die Einstufung in die „KIG“ übereinstimmen.

Probanden und Methodik:

Bei 180 erwachsenen Probanden (64 männlich, 116 weiblich, im Alter von 20–49 Jahren) aus der populationsbasierten Study of Health in Pomerania (SHIP) wurden von kalibrierten Untersuchern kieferorthopädische Dysgnathiesymptome klinisch und am Modell erhoben. Die klinische Untersuchung erfolgte durch eine erfahrene Kieferorthopädin, die Modellanalyse ebenfalls durch eine kieferorthopädisch erfahrene Untersucherin. Für einen inter- und intraindividuellen Modelluntersuchervergleich werteten zwei kieferorthopädisch unterschiedlich erfahrene Untersucher 60 der 180 Modelle (29 männlich, 31 weiblich) zusätzlich aus.

Ergebnisse:

Bei der Einteilung in das KIG-System führten die Untersucherunterschiede zu unterschiedlichen Einstufungen (KIG-Fall/Kostenübernahme—ja oder nein). Der Vergleich „klinische Untersuchung/Modellanalyse“ zeigte für 16,7% der Probanden eine unterschiedliche Einstufung für die Kostenübernahme. Die Gruppe der unterschiedlich beurteilten Probanden fiel bei dem Vergleich der Modelluntersucher untereinander mit 5,0–8,3% deutlich geringer und bei ein und demselben Untersucher mit 3,3–6,7% am geringsten aus. Bei der Erhebung der Dysgnathiesymptome insgesamt zeigten sich im Vergleich der klinischen Untersuchung mit der Modellauswertung wiederum die größten Untersucherunterschiede (Kappa-Median 0,57). Im Modelluntersuchervergleich traten bei dem kieferorthopädisch unerfahrenen Untersucher größere Unterschiede (Kappa-Median 0,61 und 0,62) auf als beim Vergleich der kieferorthopädisch erfahrenen Untersucher untereinander (Kappa-Median 0,70).

Schlussfolgerungen:

Es gibt teilweise erhebliche Untersucherunterschiede bei der Einstufung von Probanden in die Kieferorthopädischen Indikationsgruppen und damit unterschiedliche Einteilungen dieser in KIG-Fälle oder Non-KIG-Fälle. Unterschiedliche Erhebungsmethoden (Klinik/Modell) bei der Befundung von Dysgnathiesymptomen durch mehrere Untersucher sowie kieferorthopädisch unerfahrene Untersucher können einen ungünstigen Einfluss auf die Untersucherübereinstimmung haben.