Advertisement

Monitoring artifacts and large database research: what you don't know could hurt you

  • Matthew Martin
  • Sachin KheterpalEmail author
Editorials

Artéfacts de monitoring et recherche dans les grandes bases de données: ce que vous ignorez pourrait vous nuire

During the last two decades we have witnessed an exponential growth in information technology. Although anesthesia information management systems (AIMS) have been around for more than 30 years, the transition from paper records to electronic medical records has been slow.1 However, recent data demonstrate a rapid rise in adoption of electronic records at academic medical centres.2 As AIMS have grown in popularity, so too has research that uses automated electronic data at its epicentre. Retrospective observational studies are no longer a rarity in peer-reviewed journals. In fact, it is often difficult to find a leading anesthesiology journal without this type of clinical research. In this issue, Kool et al. attempt to examine the prevalence of artifacts in physiologic data stored by AIMS.3

This single-centre, prospective observational study of 86 patients at the University Medical Center Utrecht is an important step in the maturation of clinical research using AIMS data. The aim of the study was to determine the reliability of data collected from an AIMS. All patient monitoring and data recordings contain artifacts, but historically their extent and the parameter-specific variation in AIMS data have been understudied. Kool et al. used independent study personnel (another anesthesiology provider) to monitor each case and note any artifactual data displayed on the physiologic monitor or in the AIMS. The authors focused on five physiologic parameters: pulse oximetry oxygen saturation, electrocardiography (ECG)-derived heart rate, ECG-derived ST segments, intermittent noninvasive blood pressure, and continuous invasive blood pressure. Whereas the heart rate, oxygen saturation, and noninvasive blood pressure remained “relatively” free of artifacts, more than 5% of ST segments and invasive blood pressure values displayed on the monitor and stored in the AIMS database were deemed artifacts.

These data are among the first to evaluate systematically the prevalence of artifact data during physiologic monitoring and in AIMS data. We applaud Kool et al. for publishing work that is long overdue. The relatively high frequency of ST-segment and invasive blood pressure artifact data reminds the scientific community that all analyses using monitoring data must account for artifacts. Many of today’s manuscripts using automated physiologic data interfaces for analyses do disclose how artifact data are defined, identified, and managed.4-6 For example, it is common to perform median functions over relatively lengthy periods, such as 5 or 10 min, to define epochs of physiologic derangement. In addition, “invalid” values may be removed prior to median function, such as invasive systolic blood pressures > 280 mmHg or invasive blood pressures without a reasonable pulse pressure between systolic and diastolic readings. Mature observational analyses using automated physiologic data often report such artifact management in their published manuscripts.

However, there are neither standards for artifact management nor standards for how to report it. The current work by Kool et al. has significant implications to all consumers or creators of observational studies using physiologic data. It is an important first step toward improved transparency in data acquisition and management. Their findings demonstrate that every publication should have a detailed section on materials and methods, describing how all data are filtered, captured, and stored. It is only with complete transparency that we can draw conclusions based on the data presented. Kool et al. provide detailed information regarding which physiologic monitors are used, the sampling frequency for their AIMS, the use of medians to generate a single value each minute, and definitions of aberrant values. As the authors conclude, it is essential to report the methods of data acquisition and handling in detail. It is those very details that allow other investigators to confirm or refute the results. Although large observational database research is a relatively novel research modality, it still must abide by the same principles that drive all clinical research: transparency and reproducibility. Basic definitions of artifact values and the “smoothing” algorithms used to handle them must be reported in all articles. Additional details regarding sampling frequency and device-specific information could be reported in an appendix.

Although the report by Kool et al. is important, its specific observations regarding the prevalence of artifacts must be placed in an appropriate context. As the authors state eloquently, there are several limitations to their study that hinder its generalizability to other studies using automated physiologic data interfaces. First, the observations are based on a single-centre analysis using a single physiologic vendor and a single, locally developed (“home-grown”) AIMS. The process for handling values may vary significantly from one monitor to another and, more importantly, from one commercially available AIMS to another. It is vitally important to disclose the individual AIMS methodology in great detail when publishing in peer-reviewed journals. Next, this single-centre data set is subject to variations in the care processes of the individual hospital. Practice patterns for basic clinical decisions vary widely and may affect the prevalence of artifacts in the studied data set. For example, handling of invasive blood pressure transducers may be more variable than at other centres, resulting in an idiosyncratically high prevalence of artifacts. In addition, the small sample size of 86 patients overall included by Kool et al., with only 12 patients undergoing invasive blood pressure measurement, can have a significant impact on the generalizability of their findings. Readers should exercise great caution when interpreting the high artifact rate observed by these authors for this variable.

Large retrospective observational studies using AIMS data are vitally important to clinical research. Although the randomized, blinded, controlled, prospective clinical trial remains the gold standard of clinical research, there are perioperative questions that simply cannot be answered in this way. For example, it would be unethical to induce hypotension iatrogenically in an attempt to study the incidence of cerebral ischemia in relation to intraoperative hypotension. For this reason, research must continue to use data collected and stored using AIMS. Although the artifact burden and impact can be debated, manual data entry has been shown to suffer from even greater inaccuracies. During critical situations, manual data must be entered retrospectively, whereas AIMS collects data in real time. To advance the field of anesthesiology and evaluate the variation and impact of intraoperative hemodynamic management, we must find a way to make sense of automated physiologic data. This study highlights an important concept: All data can have artifacts, and their impact must be recognized and standardized.

As AIMS become more universal and investigators continue to ask important questions, we must evolve our research techniques and sophistication. Kool et al. have reminded us that AIMS are important clinical and research tools, but they perform only to the standards written into their code. All data contain some degree of artifacts, which must be recognized and disclosed—a fact that must be addressed by all who participate in clinical research. Investigators must recognize that AIMS are not currently universally standardized and that the data may be heterogeneous because of how it is filtered and collected. More importantly, each analysis may define artifact data differently. It is imperative to report in detail the handling of all data collection to maintain transparency. This point is essential to future research as we strive for optimal patient outcomes.

Au cours des deux dernières décennies, nous avons été les témoins d’une croissance exponentielle de la technologie de l’information. Même si les systèmes de gestion de l’information pour l’anesthésie (SGIA) sont présents depuis une trentaine d’années, la transition des dossiers papier aux dossiers médicaux électroniques a été lente.1 Toutefois, les données récentes montrent une augmentation rapide de l’adoption de ces systèmes par les centres médicaux universitaires.2 Au fur et à mesure que les SGIA gagnaient en popularité, de même s’est développée la recherche qui avait pour épicentre l’utilisation de données électroniques automatisée. Il n’est plus rare de trouver des études observationnelles rétrospectives dans les revues à comité de lecture. En fait, il est difficile de trouver une revue d’anesthésiologie d’importance qui ne publie pas ce type de recherche clinique. Dans ce numéro, Kool et coll. tentent d’analyser la prévalence des artéfacts parmi les données physiologiques stockées par les SGIA.3

Cette étude observationnelle prospective de 86 patients menée au Centre médical universitaire d’Utrecht est une étape importante dans la maturation de la recherche clinique faisant appel aux données des SGIA. L’objectif de l’étude était de déterminer la fiabilité des données collectées à partir d’un SGIA. Tout monitorage de patient et tout enregistrement de données contiennent des artéfacts, mais historiquement, leur étendue ainsi que la variation spécifique des paramètres au sein des données de SGIA a été insuffisamment étudiée. Les auteurs de cette étude ont fait appel à un personnel de recherche indépendant (un autre anesthésiologiste) pour vérifier chaque cas et noter tous les artéfacts de données s’affichant sur le moniteur physiologique ou dans le SGIA. Les auteurs se sont concentrés sur cinq paramètres physiologiques différents : l’oxymétrie de pouls, la saturation en oxygène, la fréquence cardiaque dérivée de l’électrocardiogramme (ECG), les segments ST dérivés de l’ECG, la tension artérielle non invasive (TANI) intermittente et la tension artérielle invasive continue. Alors que la fréquence cardiaque, la saturation en oxygène et la tension artérielle non invasive restaient « relativement » dénuées d’artéfacts, plus de 5 % des segments ST et des valeurs de la tension artérielle invasive affichés sur le moniteur et conservés dans la base de données du SGIA ont été considérés comme étant des artéfacts.

Il s’agit là des premières données parmi lesquelles la prévalence d’artéfacts présents dans le monitorage physiologique et dans les données du SGIA a été évaluée de façon systématique. Nous félicitons Kool et coll. pour la publication d’un travail qui était attendu depuis longtemps. La fréquence relativement élevée d’artéfacts concernant le segment ST et la tension artérielle invasive rappelle à la communauté scientifique que toutes les analyses utilisant des données de monitorage doivent prendre en compte la présence de ces artéfacts. De nombreux articles récents utilisant les interfaces automatisées de données physiologiques pour leurs analyses décrivent comment les données d’artéfacts ont été définies, identifiées et gérées.4-6 Il est par exemple fréquent d’utiliser les calculs de médianes sur des périodes relativement prolongées, telles que cinq à dix minutes, pour définir des phases d’anomalies physiologiques. De plus, des valeurs « non valides » peuvent être supprimées avant le calcul de la médiane; cela peut être le cas de tensions artérielles systoliques > 280 mmHg ou des tensions artérielles invasives sans différence raisonnable entre les valeurs systoliques et diastoliques. Les analyses observationnelles matures utilisant les données physiologiques automatisées décrivent souvent la gestion de ces artéfacts dans les manuscrits publiés.

Cependant, il n’existe pas de normes pour la prise en charge des artéfacts ou pour indiquer comment ces artéfacts ont été pris en charge. Ce travail de Kool et coll. a des implications significatives pour tous les consommateurs ou créateurs d’études observationnelles faisant appel à des données physiologiques. C’est une première étape importante vers une amélioration de la transparence dans l’acquisition et la prise en charge des données. Leurs constatations démontrent que toutes les publications devraient comporter une section détaillant le matériel et la méthode, et décrivant comment toutes les données sont filtrées, saisies et conservées. Ce n’est que grâce à une transparence totale que nous pourrons tirer des conclusions basées sur les données présentées. Dans cet article, les auteurs fournissent une information détaillée concernant les moniteurs physiologiques utilisés, la fréquence d’échantillonnage dans leur SGIA, l’utilisation des médianes pour générer une valeur unique chaque minute et la définition des valeurs aberrantes. Comme le concluent les auteurs, il est essentiel de décrire en détail les méthodes d’acquisition et de traitement des données. Ce sont ces détails qui permettent aux autres investigateurs de confirmer ou de réfuter les résultats. Alors que les grandes études observationnelles des bases de données constituent une modalité de recherche relativement récente, elles doivent respecter les mêmes principes que ceux qui guident toute recherche clinique : transparence et reproductibilité. Les définitions de base de la valeur des artéfacts et les algorithmes de « lissage » utilisés pour les manipuler doivent être indiqués dans tous les articles. Des détails supplémentaires concernant la fréquence et l’information spécifique sur le dispositif pourraient être inclus dans une annexe.

Bien que le compte rendu de Kool et coll. soit important, ses observations spécifiques sur la prévalence des artéfacts doivent être remises dans le contexte approprié. Comme les auteurs le mentionnent si bien, leur étude comporte plusieurs limites qui empêchent toute généralisation à d’autres publications utilisant des interfaces automatisées de données physiologiques. Tout d’abord, les observations reposent sur l’analyse d’un seul centre utilisant un seul fournisseur de données physiologiques et un seul système de SGIA développé localement (un « système-maison »). Le processus de manipulation des valeurs peut varier de façon significative d’un moniteur à l’autre et, plus encore, d’un SGIA disponible sur le marché à un autre. Il est absolument essentiel de décrire la méthodologie individuelle du SGIA de façon détaillée lors de la publication dans des revues avec comité de lecture. Ensuite, l’ensemble de données de cet unique centre est soumis aux variations des procédés de soins de leur hôpital. Les schémas de pratiques concernant des décisions cliniques varient considérablement et peuvent affecter la prévalence des artéfacts dans l’ensemble de données qu’ils ont étudié. Par exemple, leur maniement des transducteurs de tension artérielle invasive peut varier plus que dans d’autres centres, aboutissant à une forte prévalence d’artéfacts tout à fait particulière. De plus, la petite taille globale de l’échantillon, avec seulement 12 patients ayant eu une mesure invasive de la tension artérielle, a un impact significatif sur la possibilité de généralisation de leurs constatations. Les lecteurs doivent faire preuve de la plus grande prudence quand ils interprètent la fréquence élevée d’artéfacts observés par les auteurs pour cette variable.

De grandes études observationnelles rétrospectives utilisant les données des SGIA ont une importance vitale pour la recherche clinique. Mais, bien que les études prospectives randomisées, contrôlées, avec insu, restent la norme de référence en recherche clinique, il y a des questions sur la période périopératoire auxquelles on ne peut simplement pas trouver de réponse de cette façon. Il serait, par exemple, contraire à l’éthique d’induire une hypotension iatrogénique dans le but d’étudier l’incidence de l’ischémie cérébrale en rapport avec l’hypotension peropératoire. Pour cette raison, la recherche doit continuer à utiliser les données collectées et conservées à l’aide des SGIA. Alors que l’on peut débattre du poids et de l’impact des artéfacts, il a été démontré que l’entrée manuelle de données présentait d’encore plus grandes inexactitudes. Dans les situations critiques, les données doivent être entrées manuellement de façon rétrospective alors qu’un SGIA collecte les données en temps réel. Afin de faire progresser le domaine de l’anesthésiologie et d’évaluer la variation et l’impact de la prise en charge peropératoire de l’hémodynamie, nous devons trouver un moyen de donner un sens aux données physiologiques automatisées. Cette étude souligne un important concept : toutes les données peuvent comporter des artéfacts et leur impact doit être reconnu et standardisé.

Au fur et à mesure que l’utilisation des SGIA se répand et que les investigateurs continuent à poser des questions importantes, nous devons faire évoluer nos techniques de recherche et les perfectionner. Kool et coll. nous ont rappelé que les SGIA sont d’importants outils pour la recherche et la clinique, mais ils n’agiront jamais qu’en fonction des normes inscrits dans leurs codes. Toutes les données contiendront un certain niveau d’artéfacts. Il faut que tous ceux qui participent à la recherche clinique le reconnaissent et en témoignent. Les investigateurs doivent admettre qu’à ce jour, les SGIA ne sont pas normalisés de façon universelle et que leurs données peuvent être inhomogènes dans la façon dont elles sont filtrées et collectées. Par dessus tout, l’analyse des données d’artéfacts peut varier d’un article à l’autre. Il est impératif de détailler la gestion de la collecte de toutes les données afin d’assurer la transparence. Cela sera essentiel pour la recherche future alors que nous nous efforçons d’obtenir les meilleurs résultats possibles pour nos patients.

Notes

 

The authors are not supported by or maintain any financial interest in any commercial activity that may be associated with the topic of this article.

All funding was from departmental resources.

Competing interests

None declared.

References

  1. 1.
    Gravenstein JS. The automated anesthesia record. Int J Clin Monit Comput 1986; 3: 131-4.PubMedCrossRefGoogle Scholar
  2. 2.
    Egger Halbeis CB, Epstein RH, Macario A, Pearl RG, Grunwald Z. Adoption of anesthesia information management systems by academic departments in the United States. Anesth Analg 2008; 107: 1323-9.PubMedCrossRefGoogle Scholar
  3. 3.
    Kool NP, van Waes JA, Bijker JB, et al. Artifacts in research data obtained from an anesthesia information and management system. Can J Anesth 2012; 59: this issue. doi: 10.1007/s12630-012-9754-0.
  4. 4.
    Bijker JB, Persoon S, Peelen LM, et al. Intraoperative hypotension and perioperative ischemic stroke after general surgery: a nested case-control study. Anesthesiology 2012; 116: 658-64.PubMedCrossRefGoogle Scholar
  5. 5.
    Kheterpal S, Tremper KK, Englesbe MJ, et al. Predictors of postoperative acute renal failure after noncardiac surgery in patients with previously normal renal function. Anesthesiology 2007; 107: 892-902.PubMedCrossRefGoogle Scholar
  6. 6.
    Reich DL, Hossain S, Krol M, et al. Predictors of hypotension after induction of general anesthesia. Anesth Analg 2005; 101: 622-8.PubMedCrossRefGoogle Scholar

Copyright information

© Canadian Anesthesiologists' Society 2012

Authors and Affiliations

  1. 1.Department of AnesthesiologyUniversity of Michigan Medical SchoolAnn ArborUSA
  2. 2.University HospitalAnn ArborUSA

Personalised recommendations