Teoria da informação é um ramo da teoria matemática das probabilidades e matemática estatística, que lida com sistemas de comunicação, transmissão de dados, criptografia, sinais de proporção de ruídos, compressão de dados, etc.

Information theory is a branch of the mathematical theory of probability and mathematical statistics, that deals with communication systems, data transmission, cryptography, signal to noise ratios, data compression, etc.

(Isto é totalmente diferente de Biblioteca e Ciência da Informação)

(Nota: Talvez a melhor tradução seja "Ciencia da Informação e de Bibliotecas" ou algo por aí)

(This is quite different from Library and Information Science.)

Claude E. Shannon (1916-2001) era chamado de "Pai da teoria da informação". Sua teoria "considera a transmissão da informação como um fenômeno estatístico" e deu aos engenheiros da comunicação um caminho para determinar a capacidade de um canal de comunicação em termos de mercado comum de bits. A transmisão parte da teoria de que não é "preocupante o conteúdo de uma informação ou mensagem em sí mesma," apesar do lado complementar da teoria da informação preocupar em sí mesmo com o conteúdo através da perda de informação de mensagem subjugado ao critério da fidelidade. Estes dois lados da teoria da informação estão juntas entretanto e mutuamente justificados pelo teorema da transmissão da informação, ou teorema da separação dos canais fontes que justifique o uso de bits como uma corrente de informação em muitos contextos.

Claude E. Shannon (1916-2001) has been called "the father of information theory". His theory "considered the transmission of information as a statistical phenomenon" and gave communications engineers a way to determine the capacity of a communication channel in terms of the common currency of bits. The transmission part of the theory is not "concerned with the content of information or the message itself," though the complementary wing of information theory concerns itself with content through lossy compression of messages subject to a fidelity criterion. These two wings of information theory are joined together and mutually justified by the information transmission theorems, or source-channel separation theorems that justify the use of bits as the universal currency for information in many contexts.

É geralmente aceito que a moderna disciplina da teoria da informação começou com a publicação por Claude E,. Shannondo seu artigo "A Teoria Matemática da Comunicação" no Bell System Technical Journal em julho e outubro de 1948. No processo de desenvolvimento da teoria da comunicação que viria a ser aplicada pelos engenheiros elétricos para desenharo o melhor sistema, Mr. Shannon definiu a media da entropia (H = - Σ p_i log p_i que aplicado como fonte de informação iria determinar a capacidade do canal requerido para tansmitir a fonte com código de dígitos binários

It is generally accepted that the modern discipline of information theory began with the publication by Claude E. Shannon of his article "The Mathematical Theory of Communication" in the Bell System Technical Journal in July and October of 1948. In the process of working out a theory of communications that could be applied by electrical engineers to design better telecommunications systems, Mr. Shannon defined a measure of entropy (H = - Σ p_i log p_i) that, when applied to an information source, could determine the capacity of the channel required to transmit the source as encoded binary digits.

Shannon mediu a entropia tomando como uma medida da informação contida na mensagem que é estritamente determinada (contudo prevísivel)por estruturas inerentes, como por exemplo redundância na estrutura da linguagem ou propriedades estatísticas da linguagem relacionando as frequências de ocorrências de cartas diferentes ou palavras pares, triplas, etc. Veja Markov chain.

Shannon's measure of entropy came to be taken as a measure of the information contained in a message, as opposed to the portion of the message that is strictly determined (hence predictable) by inherent structures, like for instance redundancy in the structure of languages or the statistical properties of a language relating to the frequencies of occurrence of different letter or word pairs, triplets etc. See Markov chains.

Entropy as defined y Shannon is closely related to entropy as defined by physicists.  Boltzmann and Gibbs did considerable work on statistical thermodynamics.  This work was the inspiration for adopting the term entropy in information theory.  There are deep relationships between entropy in the thermodynamic and informational senses.  For instance, Maxwell's Demon needs information to reverse thermodynamic entropy and getting that information exactly balances out the thermodynamic gain that the demon would otherwise achieve.  

M (X, Y) = H(X,Y) - H(X) - H(Y)

H(X,Y) = - Σ_{x, y} p(x,y) log p (x,y)

The field of Information Science has since expanded to cover the full range of techniques and abstract descriptions for the storage, retrieval and transmittal of information. It has little to do with the organization of information, unless you mean by that how databases are designed to organize information into data records.