Давайте для начала вспомним некоторые основные определения.
Алфавит — это набор символов, число элементов которых всегда ограничено.
Мощность алфавита — количество символов в алфавите.
Алфавитный подход к измерению количества информации позволяет определить объем информации, содержащейся в некотором сообщении длиной L. Данный подход предполагает, что каждый символ алфавита встречается в сообщении с одинаковой частотой (равновероятно).
При использовании данного подхода не учитывается смысл сообщения, т. е. количество информации будет определяться только длиной сообщения L и мощностью алфавита.
Допустим, есть некоторый алфавит А, мощность которого равна M. Чтобы измерить количество информации, необходимо:
1) Определить количество бит информации i, которые приходятся на каждый символ. Должно выполняться условие
2i ≥ M.
2) Вычислить количество информации I:
I = L × M,
где L — число символов в сообщении.
Данный подход был предложен Ральфом Хартли в 1928 году. Он используется в теории информации и криптографии для количественной оценки объема информации в сообщении.
