SHANNON Inicialmente desarrollada por Claude E. Shannon, profesor del Massachusett Institute of Technology (M.I.T.).

Parte de un aserto fundamental:

La información proporcionada por la materialización de un suceso depende de la probabilidad de su acaecimiento; proporciona tanta más información cuanto mayor sea la sorpresa que produce, es decir, cuanto menor fuera la probabilidad de su acaecimiento.

Información de un suceso proporcionada por la realización de un suceso de probabilidad P:

h(P)=log(1/P)=-log(P)
Logaritmo Medida de la información
Neperiano (Base e) Nits
Binario (Base 2) Bits
Decimal (Base 10) Hartley

Considerando un sistema de sucesos complementarios y mutuamente excluyentes, a cada uno de los sucesos, le corresponderá una información en su acaecimiento igual a:

h(P_i)=-log(P_i)

La esperanza matemática del tamaño de la información, Entropía o desorden del sistema es:

H=P_1 \cdot h(P_1)+P_2\cdot h(P_2)+\cdots + P_n\cdot h(P_n)

Considerando ahora un mensaje, que con su acaecimiento hace variar la probabilidad de ocurrencia de un suceso j de Pj hasta Qj

La variación de incertidumbre será: h(P_j)-h(Q_j)=-log(P_j)+log(Q_j)=log(\dfrac{Q_j}{P_j})

El contenido informativo del mensaje o Información de canal, será:

I(Q:P)=Q_1\cdot log(Q_1/P_1)+Q_1\cdot log(Q_2/P_2)+. . .+Q_n\cdot log(Q_n/P_n)

Ejemplo:

En un principio, pensábamos que una moneda era perfecta, pero recibimos un mensaje que dice que existe una probabilidad del 75% de que salga cara. Si la información se mide en nits, ¿Cuál es la información de canal de ese mensaje?

Al lanzar una moneda pueden ocurrir dos sucesos, que salga cara [ c ] o que salga cruz [ x ], a priori la probabilidad que salga cara o cruz es del 50% (pensábamos que era perfecta), por lo que Pc = Px = 0,50.

Después del mensaje, sabemos que Qc = 0,75 y Qx = 0,25

Por lo que:

I(Q:P)=0,75 \cdot ln(0.75 / 0.50) + 0.25 \cdot ln(0.25/0.50)=0.13 nits

Enlaces externos:

Artículos relacionados:

  1. Teoría Financiera
  2. Teoría Neoclásica de la Empresa
  3. Matemática Financiera I
  4. Variables aleatorias y sus distribuciones
Imprimir