Validation of New Prognostic and Predictive Scores by Sequential Testing Approach

Abstract

Background and Purpose:

For practitioners, the question arises how their own patient population differs from that used in large-scale analyses resulting in new scores and nomograms and whether such tools actually are valid at a local level and thus can be implemented. A recent article proposed an easy-to-use method for the in-clinic validation of new prediction tools with a limited number of patients, a so-called sequential testing approach. The present study evaluates this approach in scores related to radiation oncology.

Material and Methods:

Three different scores were used, each predicting short overall survival after palliative radiotherapy (bone metastases, brain metastases, metastatic spinal cord compression). For each scenario, a limited number of consecutive patients entered the sequential testing approach (Table 1). The positive predictive value (PPV) was used for validation of the respective score and it was required that the PPV exceeded 80%.

Results:

For two scores, validity in the own local patient population could be confirmed after entering 13 and 17 patients, respectively (Figures 1 and 3). For the third score, no decision could be reached even after increasing the sample size to 30 (Figure 2).

Conclusion:

In-clinic validation of new predictive tools with sequential testing approach should be preferred over uncritical adoption of tools which provide no significant benefit to local patient populations. Often the necessary number of patients can be reached within reasonable time frames even in small oncology practices. In addition, validation is performed continuously as the data are collected.

Zusammenfassung

Hintergrund und Ziel:

Klinisch tätige Onkologen müssen sich angesichts der Neuentwicklung zahlreicher Scores und Nomogramme fragen, ob diese in ihrer eigenen Patientenpopulation valide sind und eingeführt werden sollen. In einem kürzlich publizierten Artikel wurde eine einfache Methode vorgestellt, die mit einer begrenzten Zahl von Patienten eine lokale Validierung erlaubt. Dieses sequentielle Testverfahren wird hier für radioonkologisch relevante Scores erprobt.

Material und Methodik:

Als Beispiele dienten drei Scores, die ein kurzes Überleben nach palliativer Strahlentherapie von Knochen- und Hirnmetastasen bzw. metastatischer Rückenmarkkompression vorhersagen. Es wurden jeweils die ersten konsekutiven Patienten mit diesen Diagnosen sequentiell getestet (Tabelle 1). Zur Validierung wurde der positive prädiktive Wert eines Scores benutzt. Letzterer sollte 80% übersteigen.

Ergebnisse:

Für zwei Scores ließ sich die Validität im eigenen Patientengut nach 13 bzw. 17 Patienten bestätigen (Abbildungen 1 und 3). Für den dritten Score konnte selbst nach 30 Patienten keine Entscheidung getroffen werden (Abbildung 2).

Schlussfolgerung:

Die eigene Überprüfung neuer prädiktiver Modelle mittels sequentieller Evaluierung sollte der unkritischen Einführung vorgezogen werden, da nicht alle Scores auf alle Patientenpopulationen anwendbar sind. Die erforderlichen Patientenzahlen können oft auch in kleineren Praxen innerhalb überschaubarer Zeiträume erreicht werden. Von Vorteil ist auch, dass die Validierung kontinuierlich erfolgt, während neue Patienten behandelt und eingeschlossen werden.