Surgical mortality score: Risk management tool for auditing surgical performance

Abstract

Existing methods of risk adjustment in surgical audit are complex and costly. The present study aimed to develop a simple risk stratification score for mortality and a robust audit tool using the existing resources of the hospital Patient Administration System (PAS) database. This was an observational study for all patients undergoing surgical procedures over a two-year period, at a London university hospital. Logistic regression analysis was used to determine predictive factors of in-hospital mortality, the study outcome. Odds ratios were used as weights in the derivation of a simple risk-stratification model—the Surgical Mortality Score (SMS). Observed-to-expected mortality risk ratios were calculated for application of the SMS model insurgical audit. There were 11,089 eligible cases, under five surgical specialties (maxillofacial, orthopedic, renal transplant/dialysis, general, and neurosurgery). Incomplete data were 3.7% of the total, with no evidence of systematic underreporting. The SMS model was well calibrated [Hosmer-Lemeshow C-statistic: development set (3.432, p = 0.33), validation set (6.359, p = 0.10) with a high discriminant ability (ROC areas: development set [0.837, S.E. = 0.013] validation set [0.816, S.E. = 0.016]). Subgroup analyses confirmed that the model can be used by the individual specialties for both elective and emergency cases. The SMS is an accurate risk-stratification model derived from existing database resources. It is simple to apply as a risk-management, screening tool to detect aberrations from expected surgical outcomes and to assist in surgical audit.

Résumé

Les techniques d’ajustement actuellement utilisées pour les scores de gravité en chirurgie sont complexes et coûteuses. Le but de cette étude a été de développer, à partir de la banque de données existante dans notre Hôpital, le système «Patient Administration System (PAS)», un score de stratification de risque de mortalité simple afin d’obtenir un outil d’audit robuste. D’après une période d’observation de deux ans pour tous les patients ayant eu une intervention chirurgicale dans un Hôpital universitaire de Londres, on a déterminé par analyse de régression logistique les facteurs prédictifs de mortalité hospitalière. Les rapports de côte ont été calculés et utilisés pour pondérer la réalisation d’un modèle simple de stratification de risques-le Surgical Mortality Score (SMS). On a aussi calculé les rapports mortalité observée/mortalité attendue appliqués au modèle de SMS lors d’un audit chirurgical. 11089 patients dans cinq spécialités chirurgicales (maxillo-faciale, orthopédie, transplantation et dialyse rénale, chirurgie générate et neurochirurgie) étaient éligibles. Dans 3.7% des cas, les données étaient incomplètes, toutefois sans preuve de sous-estimation de façon systématique. Le modèle SMS était bien calibré [statistique de Hosmer-Lemeshow C: développement (3.432, p = 0.33), validation (6.359, p = 0.10) avec une capacité de discrimination élevée (aires ROC: développement (0.837 ± [DS] 0.013), validation (0.816 ± 0.016). L’analyse de sous-groupe a confirmé que le modèle pouvait être utilisé par chaque spécialité, à la fois pour les interventions à froid et pour les urgences. Le modèle SMS est un modèle de stratification de risque précis, pouvant être dérivé des banques de données existantes. Il est simple à appliquer comme outil de dépistage pour détecter des déviations par rapport aux résultats attendus et ainsi, est d’une grande utilité pour les audits.

Resumen

Los métodos actuales de ajuste de riesgos en la auditoría quirúrgica son complejos y costosos. El presente estudio tuvo como objeto desarrollar una estratificación simple de la gradación o puntaje del riesgo de mortalidad y un instrumento robusto de auditoría utilizando los recursos existentes en la base de datos hospitalaria del Patient Administration Systems (PAS). Se realizó un estudio observacional de la totalidad de los pacientes sometidos a procedimientos quirúrgicos en un periodo de dos años en el London University Hospital. Se utilizó el análisis logístico de regresión para determinar los factores de predicción de mortalidad hospitalaria, que fue el estudio de resultados. Los odds ratios (razón de disparidad) fueron utilizados para la derivación del modelo simplificado de estratificación de riesgo-el puntaje de mortalidad quirúrgica (Surgical Mortality Score, SMS). La razón de la mortalidad observada frente al riesgo de mortalidad fue calculada mediante la aplicación del modelo SMS en la auditoría quirúrgica. Hubo 11.089 casos elegibles, ubicados en cinco especialidades quirúrgicas (maxilo-facial, ortopedia, trasplante renal/diálisis, cirugía general y neurocirugía). Se encontraron datos incompletos en 3.7% del total, sin evidencia de subregistro sistemático. El modelo SMS fue debidamente calibrado [Hosmer-Lemeshow-C-statistic; development set (3.432, p = 0.33), un set de validación (6.359, p = 0.10), con una alta habilidad de discriminación (ROC áreas: development set (0.837, S.E. = 0.013), set de validación (0816, S.E. = 0.016)]. Los análisis de subgrupo confirmaron que el modelo puede ser utilizado en las especialidades individuales, tanto en cirugía electiva como de urgencia. El SMS es un modelo seguro de estratificación de riesgo, derivado de recursos en las bases de datos existentes. Es fácil de aplicar como un instrumento de manejo de riesgo, de tamizaje para detectar aberraciones en los resultados quirúrgicos y de ayuda en la auditoría quirúrgica.