Por que a informação mútua é simétrica, mas a entropia condicional não é?

1. É uma informação mútua condicional simétrica?
2. Por que a informação mútua é simétrica?
3. Quando a informação mútua é igual à entropia?
4. O que é entropia condicional na teoria da informação?

É uma informação mútua condicional simétrica?

A informação mútua é symmetrici (x; y) = i (y; x) \ . Isso segue diretamente da definição, eq.

Por que a informação mútua é simétrica?

A informação mútua (IM) entre duas variáveis ​​aleatórias captura a quantidade de informações que a entropia é obtida sobre uma variável aleatória observando o outro. Como essa definição não especifica qual é a variável aleatória observada, podemos suspeitar que essa é uma quantidade simétrica.

Quando a informação mútua é igual à entropia?

Eles só fazem se forem constantes.. De fato, se eles forem totalmente idênticos, suas informações mútuas serão iguais à entropia de qualquer um dos dois: i (x, x) = h (x). Esta entropia é apenas zero em caso de dados constantes, caso contrário, pode ter outros valores.

O que é entropia condicional na teoria da informação?

Na teoria da informação, a entropia condicional quantifica a quantidade de informações necessárias para descrever o resultado de uma variável aleatória, dado que o valor de outra variável aleatória é conhecida.