Teoría Matemática de la Información

shannon Teoría Matemática de la Información Inicialmente desarrollada por Claude E. Shannon, profesor del Massachusett Institute of Technology (M.I.T.).

Parte de un aserto fundamental:

La información proporcionada por la materialización de un suceso depende de la probabilidad de su acaecimiento; proporciona tanta más información cuanto mayor sea la sorpresa que produce, es decir, cuanto menor fuera la probabilidad de su acaecimiento.

Información de un suceso proporcionada por la realización de un suceso de probabilidad P:

quicklatex.com 4db99c2f1d72585c2ae8ef2fa9b46a24 l3 Teoría Matemática de la Información

Logaritmo Medida de la información
Neperiano (Base e) Nits
Binario (Base 2) Bits
Decimal (Base 10) Hartley

Considerando un sistema de sucesos complementarios y mutuamente excluyentes, a cada uno de los sucesos, le corresponderá una información en su acaecimiento igual a:

quicklatex.com 865df636545e88dcb020843e582d0cc1 l3 Teoría Matemática de la Información

La esperanza matemática del tamaño de la información, Entropía o desorden del sistema es:

quicklatex.com a3263684f98de9c12ef70618ee0e1902 l3 Teoría Matemática de la Información

Considerando ahora un mensaje, que con su acaecimiento hace variar la probabilidad de ocurrencia de un suceso j de Pj hasta Qj

La variación de incertidumbre será: quicklatex.com 4039e36e06a198a1b596fe8126495c4c l3 Teoría Matemática de la Información

El contenido informativo del mensaje o Información de canal, será:

quicklatex.com 3590426ba0fecde948ad7de6600e6c84 l3 Teoría Matemática de la Información

Ejemplo:

En un principio, pensábamos que una moneda era perfecta, pero recibimos un mensaje que dice que existe una probabilidad del 75% de que salga cara. Si la información se mide en nits, ¿Cuál es la información de canal de ese mensaje?

Al lanzar una moneda pueden ocurrir dos sucesos, que salga cara [ c ] o que salga cruz [ x ], a priori la probabilidad que salga cara o cruz es del 50% (pensábamos que era perfecta), por lo que Pc = Px = 0,50.

Después del mensaje, sabemos que Qc = 0,75 y Qx = 0,25

Por lo que:

quicklatex.com 0c4920c2cc43c5f96ca26774b1b8a873 l3 Teoría Matemática de la Información

Enlaces externos:


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *

Puedes usar las siguientes etiquetas y atributos HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>