ENTROPIA

La Entropía se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La Entropía puede ser considerada como una medida de la incertidumbre y de la información necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre.
La Entropía también es entendida como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información.