An Evaluation of the Ontario Rapid Risk Factor Surveillance System

Abstract

Background

The Rapid Risk Factor Surveillance System (RRFSS) is an ongoing population health survey conducted by a collaborating group of Ontario public health units. This formative evaluation examined the process effectiveness, collaboration, utility and cost-effectiveness of RRFSS during its first year of operation.

Methods

An Evaluation Framework was developed with reference to guidelines for evaluation of surveillance systems developed by the World Health Organization and the U.S. Centers for Disease Control and Prevention. The study focussed on evaluable performance areas in a young surveillance system and on information needed to inform stakeholder decisions about future participation and improvement. Data were collected through surveys and interviews of key informants in participating health units, non-participating health units, the survey research house, and the provincial health ministry.

Results

Findings documented early use and dissemination of RRFSS data in health units after less than a year of surveillance system operation, stakeholder perceptions overall of data impact and value, and satisfaction with system functioning. Challenges to effectiveness were documented concerning data analysis, barriers to data use, and sustainability. Performance improvement strategies were identified for survey implementation and supports, data use, system participation, and reduced costs.

Conclusion

In its first year, RRFSS was an effective collaborative method to collect population data for public health program planning and evaluation. The evaluation provided valuable information on use, functioning, effectiveness, strategic issues and areas for improvement in a young surveillance system, created opportunities for stakeholder input into evaluation and planning, and provided a baseline for future evaluations.

Résumé

Contexte

Le Système rapide de surveillance des facteurs de risque est une enquête permanente sur la santé de la population menée collectivement par un groupe de services de santé publique de l’Ontario. Dans le cadre d’une évaluation formative, nous avons examiné l’efficacité du processus, la collaboration des intervenants, ainsi que l’utilité et la rentabilité du système au cours de sa première année de fonctionnement.

Méthode

Notre cadre d’évaluation a respecté les lignes directrices pour l’évaluation des systèmes de surveillance mises au point par l’Organisation mondiale de la santé et par les Centres américains de contrôle et de prévention des maladies (CDC). L’évaluation a porté sur les critères de rendement qu’il est possible d’évaluer pour un jeune système de surveillance et sur l’information nécessaire pour étayer les décisions des intervenants à propos de la participation future à l’enquête et des améliorations à apporter au système. Les données ont été recueillies à l’aide de questionnaires et d’entretiens avec des informatrices et des informateurs clés au sein des bureaux de santé (participant ou non au système), de la maison de recherches par sondages et du ministère provincial de la Santé.

Résultats

Nos constatations témoignent d’une utilisation et d’une diffusion précoces des données du Système rapide de surveillance des facteurs de risque dans les bureaux de santé moins d’un an après sa mise en ouvre, d’une perception générale de l’impact et de l’utilité des données chez les intervenants, ainsi que d’un fonctionnement satisfaisant du système dans l’ensemble. Nous avons documenté des problèmes d’efficacité liés à l’analyse des données, des obstacles à leur utilisation et des préoccupations quant à la viabilité du système. Nous avons cerné des stratégies d’amélioration du rendement pouvant s’appliquer à la mise en ouvre et au soutien des enquêtes, à l’utilisation des données, à la participation au système et à la réduction des coûts.

Conclusion

Au cours de sa première année, le Système rapide de surveillance des facteurs de risque s’est révélé un outil efficace pour recueillir des données démographiques utiles à la planification et à l’évaluation des programmes de santé publique. Notre évaluation a produit des données précieuses sur l’utilisation, le fonctionnement, l’efficacité, les enjeux stratégiques et les aspects à améliorer dans ce jeune système de surveillance. Les intervenants auront ainsi la possibilité de contribuer aux futurs exercices d’évaluation et de planification et auront en main des données de référence à partir desquelles évaluer le système.