Otimização de entropia: implementação computacional dos princípios MaxEnt e MinxEnt

Abstract

Os princípios de otimização de entropia MaxEnt de Jaynes (1957a,b) e MinxEnt de Kullback (1959) encontram aplicações em várias áreas de investigação científica. Ambos envolvem a otimização condicionada de medidas de entropia que são funções intrinsecamente não-lineares de probabilidades. Como constituem problemas de programação não-linear, suas soluções demandam algoritmos de busca iterativa e, além disso, as condições de não-negatividade e de soma um para as probabilidades restringem de modo particular o espaço de soluções. O artigo apresenta em detalhe (com a ajuda de dois fluxogramas) uma implementação computacional eficiente desses dois princípios no caso de restrições lineares com verificação prévia de existência de solução dos problemas de otimização. Os autores também disponibilizam rotinas de fácil uso desenvolvidas em linguagem MatLab â.The entropy optimization principles MaxEnt of Jaynes (1957a,b) and MinxEnt of Kullback (1959) can be applied in a variety of scientific fields. Both involve the constrained optimization of entropy measures, which are intrinsically non-linear functions of probabilities. Since each is a non-linear programming problem, their solution depend on iterative search algorithms, and, in addition, the constraints that probabilities are non-negative and sum up to one restrict in a particular way the solution space. The paper presents in detail (with the aid of two flowcharts) a computer efficient implementation of those two principles in the linearly constrained case that makes a prior check for the existence of solution to the optimization problems. The authors also make available easy-to-use MatLab â codes.