Taxa de entropia - Entropy rate

Teoria da informação
Entropia Entropia diferencial Entropia condicional Entropia conjunta Informação mútua Informação mútua condicional Entropia relativa Taxa de entropia Limitando a densidade de pontos discretos
Propriedade de equipartição assintótica Teoria de taxa de distorção
Teorema de codificação de fonte de Shannon Capacidade do canal Teorema de codificação de canal ruidoso Teorema de Shannon-Hartley
v t e

Na teoria matemática da probabilidade , a taxa de entropia ou taxa de informação da fonte de um processo estocástico é, informalmente, a densidade de tempo da informação média em um processo estocástico. Para processos estocásticos com índice contável , a taxa de entropia é o limite da entropia conjunta dos membros do processo dividido por , pois tende ao infinito : ${\ displaystyle H (X)}$${\ displaystyle n}$${\ displaystyle X_ {k}}$${\ displaystyle n}$${\ displaystyle n}$

${\ displaystyle H (X) = \ lim _ {n \ to \ infty} {\ frac {1} {n}} H (X_ {1}, X_ {2}, \ dots X_ {n})}$

quando o limite existe. Uma alternativa, quantidade relacionada é:

${\ displaystyle H '(X) = \ lim _ {n \ a \ infty} H (X_ {n} | X_ {n-1}, X_ {n-2}, \ dots X_ {1})}$

Para processos estocásticos fortemente estacionários ,. A taxa de entropia pode ser considerada uma propriedade geral de fontes estocásticas; esta é a propriedade de equipartição assintótica . A taxa de entropia pode ser usada para estimar a complexidade dos processos estocásticos. É usado em diversas aplicações, desde a caracterização da complexidade de linguagens, separação cega de fontes, até a otimização de quantizadores e algoritmos de compressão de dados. Por exemplo, um critério de taxa de entropia máxima pode ser usado para seleção de recursos no aprendizado de máquina . ${\ displaystyle H (X) = H '(X)}$

Taxas de entropia para cadeias de Markov

Uma vez que um processo estocástico definido por uma cadeia de Markov que é irredutível , aperiódica e recorrente positivo tem uma distribuição estacionário , a taxa de entropia é independente da distribuição inicial.

Por exemplo, para uma cadeia de Markov definida em um número contável de estados, dada a matriz de transição , é dado por: ${\ displaystyle Y_ {k}}$ ${\ displaystyle P_ {ij}}$${\ displaystyle H (Y)}$

${\ displaystyle \ displaystyle H (Y) = - \ sum _ {ij} \ mu _ {i} P_ {ij} \ log P_ {ij}}$

onde está a distribuição assintótica da cadeia. ${\ displaystyle \ mu _ {i}}$

Uma conseqüência simples dessa definição é que um processo estocástico iid tem uma taxa de entropia que é igual à entropia de qualquer membro individual do processo.

Veja também

• Fonte de informação (matemática)
• Fonte de informação Markov
• Propriedade de equipartição assintótica
• Caminhada aleatória de entropia máxima - escolhida para maximizar a taxa de entropia

Referências

• Cover, T. e Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN  0-471-06259-6 [1]