Semi-automated filtering of data outliers to improve spatial analysis of piezometric data

Abstract

The identification and removal of data outliers remains a major challenge for spatial analysis of piezometric data. In this context, a simple semi-automated procedure for filtering outliers of depth to static water level was developed and used as a part of a regional groundwater-mapping project in the Québec Metropolitan Community, Québec, Canada. Following a few basic steps of data control, potential outliers were detected using two simple automated steps: (1) identifying water levels that are deeper than the 99th percentile of a high-reliability dataset compiled by groundwater professionals and assumed to adequately represent depths to static water level, and (2) using moving averages within a search radius of 250 m calculated around each well. All detected potential outliers were visually examined in a geographic information system and compared to neighbouring data before being kept or discarded. To evaluate the efficiency of the procedure, exploratory statistics, histograms and semi-variograms of the initial, intermediate and filtered datasets were compared to the high-reliability dataset. Objective interpolation was then performed using ordinary kriging. A cross-validation analysis showed a less biased and more accurate interpolation after applying the proposed outlier filtering procedure. Qualitative knowledge of the hydrogeological settings is an important component of this procedure which combines advantages of both manual and automated processing, making the procedure adaptive and easy to use. The final outcome of the proposed procedure is an improved interpolation map of depth to static water level along with minimised and low squared estimation errors.

Résumé

L’identification et la suppression de données aberrantes restent un enjeu majeur pour l’analyse spatiale de données piézométriques. Dans ce contexte, une simple procédure semi-automatique pour filtrer des données aberrantes de profondeur du niveau d’eau statique a été développée et utilisée dans le cadre d’un projet de cartographie hydrogéologique régionale, de la communauté métropolitaine de Québec (Canada). En suivant quelques étapes basiques de contrôle de données, les données potentiellement aberrantes ont été détectées en utilisant deux étapes automatisées simples : (1) en identifiant les niveaux d’eau dont la profondeur est supérieure au 99^ème percentile d’un jeu de données fiables, compilées par des hydrogéologues et considérées valides pour représenter la profondeur du niveau d’eau statique, et (2) en utilisant les moyennes glissantes dans un périmètre de 250 m autour de chaque puits. Toutes les données potentiellement aberrantes détectées ont été examinées dans un système d’information géographique et comparées aux données voisines avant d’être conservées ou écartées. Afin d’évaluer l’efficacité de la procédure, des statistiques exploratoires, des histogrammes et des semi-variogrammes des jeux de données initiaux, intermédiaires et filtrés ont été comparés au jeu de données fiables. Une interpolation objective a ainsi été réalisée en utilisant un krigeage ordinaire. Une analyse discriminante a montré une interpolation moins biaisée et plus précise, après avoir appliqué la procédure proposée de filtrage de données aberrantes. La connaissance qualitative des conditions hydrogéologiques est une composante importante de cette procédure qui associe les avantages de traitements à la fois manuels et automatisés, ce qui rend cette procédure adaptable et facile à utiliser. Le résultat final de la procédure proposée est une carte d’interpolation améliorée de la profondeur du niveau statique de l’eau, ainsi que des erreurs quadratiques minimisées et faibles.

Resumen

La identificación y eliminación de los valores atípicos de datos sigue siendo un desafío importante para el análisis espacial de los datos piezométricos. En este contexto, se desarrolló un procedimiento sencillo semi-automático para filtrar los valores atípicos de los datos de profundidad del nivel estático del agua y se usó como parte de un proyecto de mapeo regional de agua subterránea en la Comunidad Metropolitana de Québec, Québec, Canadá. Siguiendo unos pocos pasos básicos de control de datos, se detectaron posibles valores atípicos utilizando dos simples pasos automatizados: (1) identificar los niveles de agua que están más profundos que el percentil 99 de un conjunto de datos de alta fiabilidad compilado por profesionales hidrogeólogos y que se supuso que representaban adecuadamente profundidades hasta nivel estático del agua, y (2) utilizando promedios móviles dentro de un radio de búsqueda de 250 m calculados alrededor de cada pozo. Todos los posibles valores atípicos detectados se examinaron visualmente en un sistema de información geográfica y se comparan con los datos vecinos antes de ser guardados o descartados. Para evaluar la eficacia del procedimiento, se compararon conjuntos de datos iniciales, intermedios y filtrados de estadísticas exploratorias, histogramas y semi-variogramas con los conjuntos de datos de alta confiabilidad. Luego se realizó la interpolación objetivo mediante kriging ordinario. Un análisis de validación cruzada mostró una interpolación menos sesgada y más exacta después de aplicar el procedimiento de filtrado. El conocimiento cualitativo de la configuración hidrogeológica es una componente importante de este procedimiento que combina las ventajas del procesamiento manual y automático, haciendo que el procedimiento sea adaptativo y fácil de usar. El resultado final del procedimiento propuesto es un mapa de interpolación mejorado de profundidad del nivel estático del agua junto con bajos errores cuadráticos de estimación bajos y minimizados.

摘要

数据异常值的识别和排除仍然是测压数据空间分析的一个重要挑战。本文介绍了一种过滤静水位深度异常值的简单的半自动化程序。这个程序用在了加拿大魁北克省魁北克都市中一个区域地下水编图项目中。数据控制的几个基本步骤后,采用两个简单的步骤检测潜在的异常值:(1)确定地下水专业人员编辑的高度可靠的数据库中深于第99百分位的水位,假定这个水位可充分代表静水位的深度;(2)采用根据周围每个井计算的探寻半径为250米内的移动平均数。所有探测的潜在异常值在保留或弃用之前在地理信息系统中进行检测,并与相邻数据进行对比。为了评估程序的效率,初始的、中间的和过滤的数据库中的勘探统计学、直方图和半变异函数与高度可靠的数据库进行对比。然后采用普通的克里格法进行目标插值。应用所述异常值过滤程序,交叉验证显示出较小的偏倚及较准确的插值。水文地质背景的定性认知是这个程序的重要组成部分,这个程序结合人工和自动处理的优点,使程序非常适配和容易使用。所述程序的最终成果为静水位深度的改进插值图,其平方值估算误差最小,也最低。

Resumo

A identificação e remoção de dados discrepantes (outliers) permanecem um grande desafio para análise espacial de dados piezométricos. Nesse contexto, um simples procedimento semi automático para filtragem de outliers da profundidade do nível estático da água foi desenvolvido e usado como parte de um projeto de mapeamento regional das águas subterrâneas na Comunidade Metropolitana de Quebec, Quebec, Canadá. Seguindo alguns passos básicos de controle dos dados, potenciais outliers foram detectados usando dois simples passos automatizados: (1) identificando níveis de água que são mais profundos que o 99° percentil de um conjunto de dados de alta confiabilidade compilado por profissionais das águas subterrâneas e supondo representar adequadamente a profundidade do nível estático da água, e (2) usando médias móveis dentro de um raio de 250 m calculado ao redor de cada poço. Todos potenciais outliers detectados foram visualmente examinados em um sistema de informações geográficas e comparados a dados vizinhos antes de serem mantidos ou descartados. Para avaliar a eficiência do procedimento, estatísticas exploratórias, histogramas e semivariogramas dos conjuntos de dados iniciais, intermediários e filtrados foram comparados ao conjunto de dados de alta confiabilidade. Interpolação objetiva foi realizada então utilizando krigagem ordinária. A análise de validação cruzada mostrou uma interpolação menos enviesada e mais acurada depois da aplicação do procedimento de filtragem dos outliers proposto. Conhecimento quantitativo das configurações hidrogeológicas é um componente importante desse procedimento, o qual combina vantagens de ambos os procedimentos manuais e automatizados, fazendo o procedimento adaptativo e fácil de usar. O resultado final do procedimento proposto é um mapa da profundidade do nível estático da água com interpolação melhorada junto com uma estimativa minimizada e com baixos erros quadráticos.