Entropia, Gibbs e Testes de Hipóteses

Incerteza

três tipos de incerteza: a incerteza determinística, em que não são conhecidos os estados que um sistema pode assumir; a incerteza entrópica, em que são conhecidos os estados possíveis, mas não as chances de ocorrência de cada um deles; e a incerteza probabilística, em que são conhecidos não só os estados possíveis mas também a distribuição de probabilidade para eles… fonte: Rogério Silva de Mattos

Entropia de Shannon

Claude Elwood Shannon Teoria da Informação Information Entropy Measures of Uncertainty: Shannon’s Entropy

Axiomas de Khinchin

Entropia de Rényi

Rényi entropy

Medidas de Gibbs

from wikipedia (não muito prático) Princípio da Máxima Entropia Paper Maximum Entropy: Clearing up Mysteries

Testes de Hipóteses

Thomas Bayes Thomas Bayes 2 Bayes Theorem (stanford): Uma descrição muito exaustiva do teorema de Bayes juntamente com um conjunto de exemplos muito práticos para entender a formulação.