Равномерное кодирование хорошо работает, когда все кодируемые символы имеют равную вероятность возникновения. Однако, если это не так, мы можем более эффективно кодировать информацию при помощи неравномерного кодирования.
При неравномерном кодировании мы будем использовать более короткие коды для символов, которые встречаются чаще, и более длинные для встречающихся редко.
Если бы мы использовали равномерное кодирование, то для кодирования каждого символа алфавита мощностью М = 4 нам потребовалось бы 2 бита. Соответственно, для кодирования 1000 символов потребовалось бы 2000 бит.
Если мы используем неравномерное кодирование, то среднюю длину кодового символа можно было бы вычислить следующим образом:
2 × 1/3 + 2 × 1/2 + 2 × 1/12 + 2 × 1/12 = 1,667 бит,
в данном выражении 2 бита — ожидаемая длина кодирования для алфавита мощностью М = 4, значения вероятности возникновения каждого символа взяты из таблицы выше.
Тогда для кодирования 1000 символов потребовалось бы уже 1667 бит.
