Information of deterministic functions and quantum information of non probabilistic matrices A unified approach and new results

Abstract

This paper provides new results on the entropy of functions on the one hand, and exhibits a unified approach to entropy of functions and quantum entropy of matrices with or without probability. The entropy of continuously differentiable functions is extended to stair-wise functions, a measure of relative information between two functions is obtained, which is fully consistent with Kullback cross-entropy, Renyi cross-entropy and Fisher information. The theory is then applied to stochastic processes to yield some concepts of random geometrical entropies defined on path space, which are related to fractal dimension in the special case when the process is a fractional Brownian. Then it shows how one can obtain Shannon entropy of random variables by combining the maximum entropy principle with Hartley entropy. Lastly quantum entropy of non probabilistic matrices (extension of Von Neumann quantum mechanical entropy) is derived as a consequence of Shannon entropy of random variables.

Résumé

Cet article contient de nouveaux résultats sur ľentropie informationnelle des fonctions, et propose une approche unifiée à ľentropie des fonctions et à ľentropie quantique des matrices avec ou sans probabilité. Ľentropie des fonctions continûment différentiables est étendue aux fonctions en escalier, une mesure de ľinformation relative entre deux fonctions est obtenue, et sa relation avec ľentropie relative de Kullback, ľentropie relative de Renyi et ľinformation de Fisher est mise en évidence. En appliquant ce modèle aux processus stochastiques, on obtient une famille ďentropies géométriques aléatoires définies dans ľespace des trajectoires, qui sont liées de près à la dimension fractale des mouvements browniens fractionnaires. Ensuite on propose un nouvel ensemble ďaxiomes qui permettent ďobtenir ľentropie de Shannon comme une conséquence du principe de Jaynes (maximisation de ľentropie) et de ľentropie de Hartley. Finalement, on construit un modèle ďentropie quantique pour les matrices non probabilistes (extension de ľentropie quantique de Von Neumann) comme conséquence de ľentropie de Shannon.