Review: Theory-guided machine learning applied to hydrogeology—state of the art, opportunities and future challenges

Abstract

Thanks to recent technological advances, hydrogeologists now have access to large amounts of data acquired in real time. Processing these data using traditional modelling tools is difficult and poses a number of challenges especially for tasks such as extracting useful features, uncertainty quantification or identifying links between variables. Artificial intelligence, and more specifically its subset ‘machine learning (ML)’, may represent a way of the future in hydrogeological research and applications. Unfortunately, several aspects of machine-learning methods hamper its adoption as a complementary tool for hydrogeologists, namely the black-box nature of most models, an often-limited generalization ability, a hypothetical convergence, and uncertain transferability. Recently, an entirely novel paradigm in the field of machine learning has been identified—theory-guided machine learning–in which the models integrate some specific theoretical knowledge, laws or principles of the field of study. This review article sets out to examine three theory-guided methods in their ability to overcome the limitations of machine learning for hydrogeological research and applications. These methods are, respectively, theory-guided constrained optimization (TGCO), theory-guided refinement of outputs (TGRO) and theory-guided architecture (TGA). The analyses led to the following conclusions: the opacity of ML models can be reduced by any of the three theory-guided ML methods; convergence and generalizability can be enhanced by TGCO, TGA, or a combination of at least two of the theory-guided ML methods; and no study conducted to date has made it possible to deduce the effectiveness of these methods on the transferability of ML models.

Résumé

Grâce aux récentes avancées technologiques, les hydrogéologues ont désormais accès à de grandes quantités de données acquises en temps réel. Le traitement de ces données à l’aide d’outils de modélisation traditionnels est difficile et pose un certain nombre de défis, en particulier pour des tâches telles que l’extraction de caractéristiques utiles, la quantification de l’incertitude ou l’identification des liens entre les variables. L’intelligence artificielle et plus particulièrement son sous-ensemble « l’apprentissage automatique (AA) » peut représenter une voie d’avenir dans la recherche et les applications hydrogéologiques. Malheureusement, plusieurs aspects des méthodes d’apprentissage automatique entravent son adoption en tant qu’outil complémentaire pour les hydrogéologues, à savoir la nature boîte noire de la plupart des modèles, une capacité de généralisation souvent limitée, une convergence hypothétique et une transférabilité incertaine. Récemment, un paradigme entièrement nouveau dans le domaine de l’apprentissage automatique a été identifié—l’apprentissage automatique guidé par la théorie—dans lequel les modèles intègrent des connaissances théoriques, des lois ou des principes spécifiques du domaine d’étude. Le présent article de synthèse se propose d’examiner trois méthodes guidées par la théorie sous l’angle de leur capacité à surmonter les limites de l’apprentissage automatique pour la recherche et les applications hydrogéologiques. Ces méthodes sont respectivement l’optimisation contrainte guidée par la théorie (OCGT), le réajustement des sorties de modèle guidé par la théorie (RSGT) et l’architecture guidée par la théorie (AGT). Les analyses conduisent aux conclusions suivantes: l’opacité des modèles d’AA peut être réduite par l’une des trois méthodes d’AA guidé par la théorie; la convergence et la généralisation peuvent être améliorées par l’OCGT, l’AGT ou une combinaison d’au moins deux de ces méthodes d’AA guidé par la théorie; et aucune étude menée à ce jour n’a permis de conclure à l’efficacité de ces méthodes sur la transférabilité des modèles d’AA.

Resumen

Debido a los recientes avances tecnológicos, los hidrogeólogos tienen actualmente acceso a una gran cantidad de datos obtenidos en tiempo real. El tratamiento de estos datos con las herramientas tradicionales de modelización es difícil y plantea una serie de desafíos, especialmente para tareas como la extracción de características útiles, la cuantificación de la incertidumbre o la identificación de vínculos entre variables. La inteligencia artificial, y más concretamente su subconjunto “machine learning (ML)”, puede representar una vía de futuro en la investigación y las aplicaciones hidrogeológicas. Lamentablemente, varios aspectos de los métodos de machine learning obstaculizan su adopción como herramienta complementaria para los hidrogeólogos, a saber, la naturaleza de caja negra de la mayoría de los modelos, una capacidad de generalización a menudo limitada, una convergencia hipotética y una transferencia incierta. Recientemente, se ha identificado un paradigma totalmente novedoso en el campo del machine learning—el aprendizaje automático guiado por la teoría—en el que los modelos integran algunos conocimientos teóricos específicos, leyes o principios del campo de estudio. Este artículo de revisión se propone examinar tres métodos guiados por la teoría en su capacidad de superar las limitaciones del aprendizaje automático para la investigación y las aplicaciones hidrogeológicas. Estos métodos son, respectivamente, la optimización restringida orientada por la teoría (TGCO), el refinamiento de resultados orientado por la teoría (TGRO) y la arquitectura orientada por la teoría (TGA). Los análisis condujeron a las siguientes conclusiones: la transparencia de los modelos ML puede reducirse con cualquiera de los tres métodos ML guiados por la teoría; la convergencia y la generalización pueden mejorarse con TGCO, TGA o una combinación de al menos dos de los métodos ML orientados por la teoría; y ningún estudio realizado hasta la fecha ha permitido deducir la eficacia de estos métodos en la transferencia de los modelos ML.

摘要

由于近年的技术进步,水文地质学家现在可以访问大量实时获取的数据。使用传统建模工具处理这些数据很困难,并带来了许多挑战,尤其是对于提取有用特征、不确定性量化或识别变量之间的联系等任务。人工智能,更具体地说是其代名词“机器学习 (ML)传,可能代表了水文地质研究和应用的一种未来方式。不幸的是,机器学习方法的几个方面阻碍了它作为水文地质学家的辅助工具的采用,即大多数模型的黑箱性质、通常有限的概化能力、假设收敛性和不确定的可转移性。最近,机器学习领域出现了一种全新的范式——具有理论的机器学习——其中模型整合了研究领域的一些特定理论知识、规律或原则。这篇综述论文旨在研究三种理论指导方法克服机器学习方法在水文地质研究和应用方面的局限性的能力。这些方法分别是理论指导的约束优化 (TGCO)、理论指导的输出细化 (TGRO) 和理论指导的架构 (TGA)。分析得出以下结论:三种理论指导的 ML 方法中的任何一种都可以降低 ML 模型的不透明度; TGCO、TGA 或至少两种理论指导的 ML 方法的组合可以增强收敛性和泛化性;迄今为止,还没有任何研究能够推断出这些方法对 ML 模型的可转移性的有效性。

Resumo

Graças aos recentes avanços tecnológicos, os hidrogeólogos têm agora acesso a grandes quantidades de dados adquiridos em tempo real. O processamento desses dados com ferramentas tradicionais de modelagem é difícil e impõe uma série de desafios, especialmente para tarefas como extração de características úteis, quantificação de incerteza ou identificação de relações entre variáveis. A inteligência artificial, e mais especificamente seu subconjunto “aprendizagem de máquina (AM)”, pode representar uma oportunidade para o futuro na pesquisa e aplicações hidrogeológicas. Infelizmente, vários aspectos dos métodos de aprendizagem de máquinas impedem sua adoção como ferramenta complementar para hidrogeólogos, a saber, a natureza caixa preta da maioria dos modelos, uma capacidade de generalização muitas vezes limitada, uma hipotética convergência e uma transferibilidade incerta. Recentemente, foi identificado um paradigma inteiramente novo no campo da aprendizagem de máquinas—aprendizagem de máquinas orientada pela teoria—no qual os modelos integram alguns conhecimentos teóricos específicos, leis ou princípios do campo de estudo. Este artigo de revisão se propõe a examinar três métodos teoricamente orientados em sua capacidade de superar as limitações da aprendizagem de máquinas para pesquisas e aplicações hidrogeológicas. Estes métodos são, respectivamente, otimização limitada por teorias (OLPT), refinamento teórico de saídas (RTS) e arquitetura orientada por teorias (AOT). As análises levaram às seguintes conclusões: a opacidade dos modelos de AM pode ser reduzida por qualquer um dos três métodos de AM orientados pela teoria; a convergência e a generalizabilidade podem ser melhoradas por OLPT, AOT ou uma combinação de pelo menos dois dos métodos de AM orientados pela teoria; e nenhum estudo realizado até o momento permitiu deduzir a eficácia desses métodos sobre a transferibilidade dos modelos de AM.