Inicialmente desarrollada por Claude E. Shannon, profesor del Massachusett Institute of Technology (M.I.T.).

Parte de un aserto fundamental:

La información proporcionada por la materialización de un suceso depende de la probabilidad de su acaecimiento; proporciona tanta más información cuanto mayor sea la sorpresa que produce, es decir, cuanto menor fuera la probabilidad Más >