O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia E de um sistema, a saber
E = -\sum_i P_i(x)\log_2 P_i(x)em que P_i(x) é a probabilidade do i-ésimo resultado para a variável x.
Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha. Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é \frac{1}{2}. Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente \frac{1}{2}, e nesse caso tem-se:
E = -\left(\frac{1}{2}\log_2\frac{1}{2} + \frac{1}{2}\log_2\frac{1}{2}\right) = 1Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas, colocando-as numa urna e sorteando uma, a probabilidade de sair azul é \frac{1}{2}. Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente \frac{1}{2}. Procedendo dessa forma para as duas letras vermelhas, tem-se:
E = -\left(4 \cdot \frac{1}{2}\log_2\frac{1}{2}\right) = 2Com base nessas informações, qual o valor da entropia E, no caso de uma sequência com 4 letras A, sendo as 3 primeiras azuis e a última vermelha?