Sem a Teoria da Informação de Shannon não haveria Internet

Post inicialmente criado por Alok Jha, no site The Observer.
Teoria da Informação de Shannon

Teoria da Informação de Shannon

Esta equação foi publicada no livro A Teoria Matemática da Comunicação (1949) escrito por Claude Shannon e Warren Weaver. É uma maneira elegante de descobrir o quão eficiente um código pode ser, o que transformou “informação” de uma palavra relativamente vaga em uma forma de representar o quanto alguém sabe sobre algo utilizando uma unidade matemática precisa que pode ser medida, manipulada e transmitida. Foi o início da ciência da “Teoria da Informação”, um conjunto de idéias que nos permitiu construir a Internet, computadores digitais e sistemas de telecomunicações. Quando alguém fala sobre a revolução da informação das últimas décadas, é a idéia da informação de Shannon que se está falando.

Claude Shannon foi um matemático e engenheiro eletrônico que trabalhou no Laboratório da Bell, nos EUA, em meados do século 20. Seu local de trabalho foi o braço de pesquisa e desenvolvimento célebre da Bell Telephone Company, principal fornecedora dos EUA de serviços de telefonia até a década de 1980, quando foi rompida por causa de sua posição monopolista. Durante a segunda guerra mundial, Shannon trabalhou em códigos e métodos de envio de mensagens de forma eficiente e segura através de longas distâncias, ideias que se tornaram as sementes para a sua Teoria da Informação.

Antes da Teoria da Informação, comunicações remotas eram feita usando sinais analógicos. O envio de uma mensagem envolva transformá-la em diferentes impulsos de tensão ao longo de um fio, que poderia ser medido na outra extremidade e interpretado novamente em palavras. Isso geralmente é bom para distâncias curtas, mas, se você quiser enviar alguma coisa através de um oceano, isso se torna inutilizável. Cada metro que um sinal elétrico analógico viaja ao longo de um fio, o deixa mais fraco e o faz sofrer mais com flutuações aleatórias, conhecido como ruído. Obviamente, você poderia aumentar o sinal do início, mas isso terá o efeito indesejado de também aumentar o ruído.

A teoria da informação ajudou a superar este problema. Nela, Shannon definiu as unidades de informação, os menores pedaços possíveis que não podem mais ser divididos, no qual ele chamou de “bits” (abreviação de binary digit), cadeia de caracteres de que podem ser usadas para codificar qualquer mensagem. O código digital mais amplamente utilizado na eletrônica moderna é baseado em bits, no qual cada unidade pode ter apenas um dos dois valores: 0 ou 1.

Esta ideia simples melhora imediatamente a qualidade das comunicações. Converte sua mensagem, letra por letra, em um código feito de 0s e 1s e, em seguida, envia essa longa seqüência de dígitos por um fio – cada 0 representado por um breve sinal de baixa tensão e cada 1 representado por um breve salto de alta tensão. Estes sinais, evidentemente, sofrerão os mesmos problemas de um sinal analógico, a saber, o enfraquecimento e ruído. Mas o sinal digital tem uma vantagem: os 0s e 1s são estados tão obviamente diferentes que, mesmo depois da deterioração, o seu estado original pode ser reconstruído ao longo fio. Uma outra forma de manter a mensagem digital limpa é lê-la, usando dispositivos eletrônicos, em intervalos ao longo de sua rota e reenviar uma repetição limpa.

Shannon mostrou o verdadeiro poder desses bits, no entanto, colocando-os em uma estrutura matemática. Sua equação define uma quantidade (H), no qual é conhecida como entropia de Shannon e pode ser considerada como uma medida da informação de uma mensagem, medida em bits.

Em uma mensagem, a probabilidade de um determinado símbolo (x) se propagar é representado por p(x). O lado direito da equação acima soma as probabilidades de toda série de símbolos que podem aparecer em uma mensagem, ponderada pelo número de bits necessários para representar esse valor de x, um termo dado por log p(x). (Um logaritmo é o processo inverso de elevar algo à potência. Dizemos que o logaritmo de 1000 na base 10 — escrito por log 10 (1000) — é 3, pois 10 3 = 1000.)

Um sorteio, por exemplo, tem dois resultados possíveis (ou símbolos) — x poderia ser cara ou coroa. Cada resultado tem uma probabilidade de 50% de ocorrência e, neste caso, p(cara) e p(coroa) são cada um ½. A teoria de Shannon usa base 2 em seus logaritmos e log 2 (½) é -1. Isso nos dá a quantidade total de informação ao jogar uma moeda, um valor para o H, de 1 bit. Uma vez que o sorteio tenha sido concluído, nós ganhamos um bit de informação, ou melhor, reduzimos a nossa incerteza em um bit.

Um único caractere tirado de um alfabeto de 27 caracteres tem cerca de 4,76 bits de informação — em outras palavras log 2 (1/27) —, pois cada caractere é ou não é uma letra particular desse alfabeto. Uma vez que existem 27 destas possibilidades binárias, a probabilidade de cada um é de 1/27. Essa é uma descrição básica de um alfabeto Inglês básico (26 caracteres e um espaço), se cada caractere tiver a mesma probabilidade de ser transmitido em uma mensagem. Por este cálculo, mensagens em Inglês necessitam de largura de banda para armazenamento ou transmissão igual ao número de caracteres multiplicada por 4,76.

Mas sabemos que, em Inglês, cada caractere não aparece na mesma proporção. Um “u” geralmente segue um “q” e “e” é mais comum do que “z“. Leve em conta esses detalhes estatísticos e será possível reduzir o valor de H dos caracteres em inglês para menos de um bit. O que é útil se você quiser acelerar a comunicação ou ocupar menos espaço no disco rígido.

A Teoria da Informação foi criada para encontrar formas práticas de tornar códigos melhores, mais eficientes e encontrar os limites de como computadores rápidos poderiam processar sinais digitais. Cada pedaço de informação digital é o resultado de códigos que foram examinados e melhorados através da equação de Shannon. Ela fornece a base matemática para o aumento do armazenamento e compressão de dados — arquivos Zip, MP3s e JPGs não poderiam existir sem ela. E nenhum dos vídeos de alta definição on-line teria sido possível sem a matemática de Shannon.

Fonte: http://www.theguardian.com/science/2014/jun/22/shannon-information-theory.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *