Teoría de la Información - pág.3

Ejemplos de este tipo son el cara-cruz, el sí-no, el blanco-negro, el alfabeto Morse (punto-raya), etc. Estos elementos constituyen la unidad fundamental de información, el bit, que adopta como valores base el 0 y el 1.
Cualquier lenguaje puede reducirse a código binario sin ninguna restricción según un conjunto de reglas predefinidas. En esta propiedad se fundamenta la mayoría de los procesos de telecomunicación (el teléfono, el telégrafo, la radiodifusión, la televisión), que disponen de un método de conversión inversa en los aparatos receptores.
En la formación de mensajes codificados adquieren una especial importancia las teorías del azar y la probabilidad, dado que, entre un número muy amplio de elecciones o combinaciones, el sistema de emisión se decide por una de ellas en función de factores aleatorios y estadísticos. Así, por ejemplo, es mucho más probable en español la elección de la letra a que la de la x para configurar una palabra, aunque ambas sean igualmente posibles.
Los mensajes pueden contener informaciones redundantes, como es el caso de las lenguas humanas, o estar totalmente exentos de repeticiones.