Apuntes, resumenes, exámenes… para la diplomatura de ccee de la uned
Economia de la Empresa I
Teoría Matemática de la Información
0
Inicialmente desarrollada por Claude E. Shannon, profesor del Massachusett Institute of Technology (M.I.T.).
Parte de un aserto fundamental:
La información proporcionada por la materialización de un suceso depende de la probabilidad de su acaecimiento; proporciona tanta más información cuanto mayor sea la sorpresa que produce, es decir, cuanto menor fuera la probabilidad de su acaecimiento.
Información de un suceso proporcionada por la realización de un suceso de probabilidad P:
| Logaritmo | Medida de la información |
| Neperiano (Base e) | Nits |
| Binario (Base 2) | Bits |
| Decimal (Base 10) | Hartley |
Considerando un sistema de sucesos complementarios y mutuamente excluyentes, a cada uno de los sucesos, le corresponderá una información en su acaecimiento igual a:
La esperanza matemática del tamaño de la información, Entropía o desorden del sistema es:
Considerando ahora un mensaje, que con su acaecimiento hace variar la probabilidad de ocurrencia de un suceso j de Pj hasta Qj
La variación de incertidumbre será:
El contenido informativo del mensaje o Información de canal, será:
Ejemplo:
En un principio, pensábamos que una moneda era perfecta, pero recibimos un mensaje que dice que existe una probabilidad del 75% de que salga cara. Si la información se mide en nits, ¿Cuál es la información de canal de ese mensaje?
Al lanzar una moneda pueden ocurrir dos sucesos, que salga cara [ c ] o que salga cruz [ x ], a priori la probabilidad que salga cara o cruz es del 50% (pensábamos que era perfecta), por lo que Pc = Px = 0,50.
Después del mensaje, sabemos que Qc = 0,75 y Qx = 0,25
Por lo que:
