Читайте также:
|
| Буквы | Двоичные знаки | Кодовые комбина-ции | Число знаков ni | Среднее число знаков < n >= =∑ pi ni | ||||
| xi | pi | 1-й | 2-й | 3-й | 4-й | |||
| х 1 | 1/4 | - | - | |||||
| х 2 | 1/4 | - | - | |||||
| х 3 | 1/4 | - | - | |||||
| х 4 | 1/8 | 2,375 | ||||||
| х 5 | 1/16 | |||||||
| х 6 | 1/16 |
В рассмотренном примере < n > = 2,375, что равно энтропии источника, т.е. построенный код не имеет избыточности и, следовательно, позволяет полностью согласовать статистические характеристики источника со свойствами канала. Это оказалось возможным благодаря тому, что вероятности передачи различных букв удовлетворяют условию pi = 0,5 ni.
При невыполнении этого условия разбиение на строго равновероятные группы и подгруппы невозможно и среднее число разрядов < n > оказывается больше энтропии Н (Х). Так, например, при составлении кода Шеннона - Фано для русского алфавита число < n > = 4,45 при энтропии языка Н = 4,39 (без учета статистических связей между буквами). Особенно заметным может быть снижение эффективности кодирования при небольшом числе букв и значительном отличии их вероятностей. В таких случаях увеличение эффективности достигается путем кодирования не отдельных букв, а укрупненных блоков, которые представляют собой набор всех возможных комбинаций из 2, 3 и более букв.
Пусть, например, кодируются две буквы х 1 и х 2, имеющие вероятности р 1 = 0,9 и р 2 = 0,1 и соответствующую энтропию Н = 0,479.
При кодировании по одной букве (х 1 → 0, х 2 → 1) < n > = n = 1, что более чем в 2 раза превышает энтропию. Укрупнение кодируемых блоков позволяет существенно уменьшить величину < n >. Так, при кодировании по две буквы < n > = 0,645, а при кодировании по три буквы < n > = 0,566 (табл. 6-16), что уже близко к минимально возможному значению < n > (< n >мин = Н = 0,479).
Таблица 6-16
Дата добавления: 2015-08-02; просмотров: 80 | Нарушение авторских прав
| <== предыдущая страница | | | следующая страница ==> |
| Код к примеру 1 | | | Кодирование укрупненных блоков |