Основы теории принятая статистических решений 1051 46 страница

б) Объясните, каким образом суммирование по состояниям т' в уравнении (8.130,а) да­ет в итоге уравнение (8.130,6).

в) Повторите п. а и покажите, как уравнение (8.133) переходит в уравнение (8.135), Также объясните, как суммирование по состояниям от' в будущий момент k+ 1 дает уравнение (8.135).

8.20. Исходя из уравнения (8.139) для метрики ветви покажите, каким образом получает­ся уравнение (8.140), и укажите, какие члены следует считать постоянными А_к в уравне­нии (8.140). Почему члены А_к не появляются в уравнении (8 140,а)?

8.21. Устройство чередования на рис. 8.27 (аналогичное устройству в соответствующем ко­дере) гарантирует, что выходная последовательность декодера DEC1 упорядочена во времени так же, как и последовательность {у2_к}. Можно ли реализовать это более простым способом? Что можно сказать о применении устройства восстановления в нижнем ряду? Не будет ли это более простым способом⁹ Если это осуществить, тогда можно будет убрать два прежних устройства восстановления. Объясните, почему это не сработает.

8.22. При декодировании согласно алгоритму Витерби, используется устройство сложения, сравнения и выбора (add-compare-select — ACS). А при реализации алгоритма макси­мума апостериорной (maximum a posteriori — МАР) вероятности в турбодекодирова­нии не применяется идея сравнения и выбора переходов. Вместо этого в алгоритме МАР рассматриваются все метрики ветвей и состояний для данного интервала време­ни. Объясните это принципиальное различие между двумя алгоритмами.

8.23. На рис. 38.2 показан рекурсивный систематический сверточный (recursive systematic con­volutional — RSC) кодер со степенью кодирования 1/2, К = 4. Заметьте, что на рисунке используется формат памяти в виде 1-битовых блоков задержек (см. раздел 8.4.7.4). Сле­довательно, текущее состояние цепи можно описать с помощью уровней сигналов в точ­ках а*-1, а_к-2, а_к-ъ, аналогично способу описания состояния в формате разрядов памяти. Составьте таблицу, аналогичную табл. 8.5, которая будет определять все возможные пере­ходы в цепи, и с ее помощью изобразите участок решетки.

  Рис. 38.2. Рекурсивный систематический сверточный (RSC) кодер со степенью кодирования 1/2, К = 4

8.24. На рис. 38.3 показан рекурсивный систематический сверточный (recursive systematic convolutional — RSC) кодер со степенью кодирования 2/3, К = 3. Заметьте, что на ри­сунке используется формат памяти в виде 1-битовых блоков задержек (см. раз-* дел 8.4.7.4). Составьте таблицу, аналогичную табл. 8.5, которая будет определять все возможные переходы в цепи, и с ее помощью изобразите участок решетки. С помо­щью таблицы, подобной табл. 8.6, найдите выходное кодовое слово для информаци-

онной последовательности 1 1001 1001 1. В течение каждого такта данные посту­пают в цепь в виде пары {d_>k, dt_k}, а каждое выходное кодовое слово {d_Xh di_k, v_k} об­разуется из пары битов данных и одного контрольного бита, v_k.

  Рис. 38.3. Рекурсивный систематический сверточный (RSC) кодер со степенью кодирования 2/3, К = 3

8.25. Рассмотрим турбокод, состоящий из двух сверточных кодов, которые, в свою очередь, со­стоят из четырех состояний. Оба составных кода описываются решеткой, которая изобра­жена на рис. 8.25, 6. Степень кодирования кода равна 1/2, а длина блока — 12. Второй ко­дер оставлен не погашенным. Метрики ветвей, прямые метрики состояний и обратные метрики состояний для информационных битов, связанных с кодером в конечном состоя­нии, описываются матрицей, изображенной ниже. Принятый 12-сигнальный вектор обра­зован из сигнала данных, сигнала контроля четности, сигнала данных, сигнала контроля четности и т.д. и имеет следующие значения.

1,2 1,3 -1,2 0,6 -0,4 1,9 -0,7 -1,9 -2,2 0,2 -0,1 0,6 Матрица ветвей

с0, (1 сО, о О 2 ь2	с0, а •• ^5б		"1,00	1,00	1,00	1,00	1,00	1,00’
cl,fl • 5, •. •	cl, Д •• ^5б		3,49	0,74	2,12	0,27	0,37	1,28
с0, b ^51			1,00	1,00	1,00	1,00	1,00	1,00
с I уЬ • • ^51			3,49	0,74	2,12	0,27	0,37	1,28
с*0, С			1,92	1,35	2,59	0,39	1,11	1,35
5}-^с •			1,82	0,55	0,82	0,70	0,33	0,95
с0, d • • ^51			1,92	1,38	2,59	0,39	1,11	1,35
gl,rf А ••• •	с I, rf Об		1,82	0,55	0,82	0,70	0,33	0,95

Альфа-матрица (ос™)

’а? а.2 •	•• <'		1,00	1,00	1,00	5,05	8,54	10,41	24,45'
а? ••. •	-		0,00	0,00	1,92	12,79	5,07	10,93	31,48
«1 -			0,00	3,49	0,74	4,03	14,16	8,22 '	24,30
а- - •	а7		0,00	0,00	4,71	5,77	5,63	17,53	27,76_

Бета-матрица ((3JJ¹)

Pi PS •	- Pv‘		'24,45	5,44	2,83	1,12	1,00	1,00	1,00'
Р? •	- P?		24,43	5,62	3,17	0,70	0,37	1,28	0,00
Pf - '			21,32	5,45	3,53	0,81	0,43	0,00	0,00
Pf - ■	..		21,31	5,79	2,75	1,14	1,42	0,00	0,00

Вычислите логарифмическое отношение функций правдоподобия для каждого из шести ин­формационных битов {d_k}. С помощью правила принятия решений алгоритма МАР найдите наиболее вероятную последовательность информационных битов, которая могла быть передана.

Вопросы для самопроверки

8.1. Объясните высокую эффективность кодов Рида-Соломона при наличии импульсных помех (см. раздел 8.1.2.).

8.2. Объясните, почему кривые на рис. 8.6 показывают снижение достоверности передачи при низких значениях степеней кодирования (см раздел 8.1.З.).

8.3. Среди всех способов определения примитивности полинома наиболее простой — исполь­зование линейного регистра сдвига с обратной связью (linear feedback shift register — LFSR). Объясните эту процедуру (см. пример 8.2.).

8.4. Объясните, каким образом можно получить синдром, вычисляя принятый полином со всеми значениями корней полиномиального генератора кода (см. раздел 8.1.6.1).

8.5. Какое ключевое преобразование осуществляет система чередования/восстановления над импульсными помехами (см. раздел 8.2.1.)?

8.6. Почему предел Шеннона, равный -1,6 дБ, не представляет интереса при разработке ре­альных систем (см. раздел 8.4.5.2.)?

8.7. Почему алгоритм декодирования Витерби не дает апостериорных вероятностей (см. раз­дел 8.4.6.)?

8.8. Каково более описательное название алгоритма Витерби (см. раздел 8.4.6.)?

8.9. Опишите сходство и отличие в реализации декодирования на основе алгоритмов Витерби и максимума апостериорной вероятности (МАР) (см. раздел 8.4.6.).

ГЛАВА 9

Компромиссы при использовании модуляции и кодирования

9.1. Цели разработчика систем связи

Системные компромиссы — это неотъемлемая часть всех разработок цифровых систем связи. Разработчик должен стремиться к 1) увеличению скорости передачи бит R до максимально возможной; 2) минимизации вероятности появления битовой ошибки Р_в; 3) минимизации потребляемой мощности, или, что то же самое, минимизации требуемого отношения энергии одного бита к спектральной плотности мощности шу­ма E,JNq, 4) минимизации ширины полосы пропускания W; 5) максимизации эффек­тивности использования системы, т.е. к обеспечению надежного обслуживания для максимального числа пользователей с минимальными задержками и максимальной устойчивостью к возникновению конфликтов; и 6) минимизации конструктивной сложности системы, вычислительной нагрузки и стоимости системы. Конечно, разра­ботчик системы может попытаться удовлетворить всем требованиям одновременно. Однако очевидно, что требования 1 и 2 противоречат требованиям 3 и 4; они преду­сматривают одновременное увеличение скорости R и минимизацию Р_в, EJN₀, W. Су­ществует несколько сдерживающих факторов и теоретических ограничений, которые неизбежно влекут за собой компромиссы в любых системных требованиях.

Минимальная теоретически требуемая ширина полосы частот по Найквисту Теорема о пропускной способности Шеннона-Хартли (и предел Шеннона) Государственное регулирование (например, распределение частот) Технологические ограничения (например, современные комплектующие) Другие системные требования (например, орбиты спутников)

Некоторые реализуемые компромиссы между кодированием и модуляцией можно лучше показать через изменение положения рабочей точки на одной из двух плоско­стей — характеристике вероятности появления ошибки и характеристике эффектив­ности использования полосы частот; обе описываются в следующих разделах.

9.2. Характеристика вероятности появления ошибки

На рис. 9.1 показаны семейства кривых зависимости Р_в от E,JN₀ для когерентного детек­тирования ортогональных (рис. 9.1, а) и многофазных сигналов (рис. 9.1, б). Для пред­ставления каждой ^-битовой последовательности модулятор использует один из М = 2* сигналов, где М — размер набора символов. На рис. 9.1, а изображено потенциальное снижение частоты появления ошибок с повышением к (или М) при передаче ортого­нальных сигналов. Для ортогональных наборов сигналов, таких как сигналы в ортого­нальной частотной манипуляции (frequency shift keying — FSK), увеличение размера на­бора символов может дать снижение Р_в, или требуемого E,JN_Q, за счет увеличения поло­сы пропускания. На рис. 9.1, б показано повышение частоты появления ошибок с увеличением к (или М) при передаче неортогональных сигналов. Для наборов неортого­нальных сигналов, таких как сигналы в многофазной манипуляции (multiple phase shift keying — MPSK), расширение набора символов может снизить требования к полосе пропускания за счет повышения Р_в, или требуемого значения E_tJN_a. Далее эти семейства кривых (рис. 9.1, а или б) будут называться кривыми характеристик вероятности появле­ния ошибок, а плоскость, в которой они лежат, — плоскостью вероятности появления ошибок. Такие характеристики показывают, где может располагаться рабочая точка для конкретных схем модуляции и кодирования. Для системы с данной скоростью передачи

информации каждую кривую на плоскости можно связать с различными фиксирован­ными значениями минимально необходимой полосы пропускания; а значит, некое множество кривых можно представить как множество кривых равной полосы пропускания. При передвижении по кривой в направлении возрастания ординаты, ширина полосы пропускания, необходимая для передачи, увеличивается; и напротив, если перемещаться в обратном направлении, то требуемая полоса пропускания уменьшится. После выбора схемы модуляции и кодирования, а также номинального значения E,JN_a функциониро­вание системы характеризуется конкретной точкой на плоскости вероятности появления ошибок. Возможные компромиссы можно рассматривать как изменение рабочей точки на одной из кривых или как переход с рабочей точки одной кривой семейства в рабочую точку другой. Эти компромиссы изображены на рис. 9.1 а и б как смещения рабочей точки системы в направлении, указанном стрелками. Перемещение рабочей точки вдоль линии 1 между точками а и b можно считать компромиссом между Р_в и характеристи­кой EJN₀ (при фиксированном значении W). Аналогично сдвиг вдоль линии 2, между точками cud, является поиском компромисса между Р_в и W (при фиксированном зна­чении E,JN₀). И наконец, перемещение вдоль линии 3, между точками ей/, представля­ет собой поиск компромисса между W и E,JN_a (при фиксированном значении Р_в). Сдвиг вдоль линии 1 — это снижение или повышение номинального значения EJNq. Этого можно достичь, например, путем повышения мощности передатчика; это означает, что компромисс можно осуществить просто “поворотом регулятора” даже после завершения конфигурации системы. В то же время другие компромиссы (сдвиги вдоль линий 2 или

3) включают изменения в схеме модуляции или кодирования, а значит, их следует осу­ществлять на этапе разработки системы. Изменять тип модуляции и кодирования в сис­теме программным путем можно будет с помощью программных средств связи [1].

9.3. Минимальная ширина полосы пропускания по Найквисту

В любой реализуемой системе, выполняющей неидеальную фильтрацию, будет межсим- вольная интерференция — хвост одного импульса распространяется на соседние символы и мешает процессу детектирования. Найквист [2] показал, что теоретическая минимальная ширина полосы пропускания (ширина полосы частот по Найквисту), требуемая для немо- дулированной передачи R_s символов за секунду без межсимвольной интерференции, со­ставляет RJ2 Гц. Это основное теоретическое ограничение, вынуждающее разработчика настолько аккуратно использовать полосу частот, насколько это возможно (см. раздел 3.3). На практике минимальная ширина полосы частот по Найквисту увеличивается на 10-40% вследствие ограничений реальных фильтров. Таким образом, реальная пропускная способ­ность цифровых систем связи снижается с идеальных 2 символа/с/Гц до 1,8- 1,4 символа/с/Гц. Из набора М символов, система модуляции или кодирования присваива­ет каждому символу ^-битовое значение, где М = 2^к. Таким образом, число битов на символ можно представить как k = \og₂ М, и, следовательно, скорость передачи данных, или ско­рость передачи битов R, должна быть в к раз больше скорости передачи символов R_s, как видно из следующего основного соотношения:

R = kR или R_s= — = ——— (9-1)

¹ к: log₂ М

9.3. Минимальная шиоина ПОЛОСЫ ПГИ->ГШГКЯИ1ла пп Найгаилти

б)

Рис. 9.1. Зависимость вероятности появления битовой ошибки от Eb/N₀ при когерентном детекти­ровании М-арных сигналов: а) ортогональные сигналы; б) многофазные сигналы

Для системы с фиксированной скоростью передачи символов из выражения (9.1) видно, что с ростом к увеличивается и скорость передачи битов R. При использо­вании схемы MPSK с увеличением к повышается эффективность использования полосы частот R/W, измеряемая в бит/с/Гц. Например, сдвиг вдоль линии 3, из точки е в точку/, как видно на рис. 9.1, б, представляет собой повышение EJN₀ за счет снижения требований к полосе пропускания. Другими словами, при той же полосе пропускания MPSK-модулированные сигналы можно передавать с повы­шенной скоростью передачи данных, а значит с увеличенным R/W.

Пример 9.1. Классификация схем цифровой модуляции

В некотором смысле все схемы цифровой модуляции относятся к одному из двух клас­сов с противоположными характеристиками. Первый класс — это передача ортогональ­ных сигналов; достоверность такой передачи описывается кривыми на рис. 9.1, а. Ко второму классу относится передача неортогональных сигналов (набор векторов сигна­лов можно отобразить на плоскости). На рис. 9.1, б представлен пример передачи неор­тогональных сигналов — модуляция MPSK. Вообще, любая фазовая/амплитудная моду­ляция (например, QAM) относится ко второму классу. Используя рис. 9.1, ответьте на следующие вопросы.

а) Как в случае М-арной передачи сигналов будет меняться достоверность передачи (увеличиваться или снижаться) при повышении М?

б) Возможности выбора в цифровой связи почти всегда сопряжены с компромиссами. Если достоверность передачи растет, то за счет чего?

в) Если растет вероятность появления ошибки, то какую выгоду можно получить из этого?

Решение

а) Из рис. 9.1 можно видеть, что повышение или снижение достоверности передачи зависит от рассматриваемого класса передачи сигналов. Рассмотрим передачу ортогональных сигна­лов (рис. 9.1, а), где достоверность передачи растет с увеличением к или М. Напомним, что существует лишь два способа сравнения подобных характеристик достоверности передачи. Можно провести вертикальную линию при некотором фиксированном значении Erf No и увидеть, что при уменьшении к или М Р_в снижается. Или наоборот, можно провести гори­зонтальную линию, фиксирующую некоторое значение Рв, и с ростом к или М отметить снижение требований к E/JNo. Точно так же на рис. 9.1, б можно видеть, что при неортого­нальной передаче, такой как модуляция MPSK, характеристики ведут себя абсолютно ина­че. Достоверность передачи снижается при увеличении к или М.

б) Чем мы платим за передачу ортогональных сигналов, при которой достоверность переда­чи повышается с ростом к или Ml Наиболее распространенным вариантом передачи ор­тогональных сигналов является схема MFSK, где к - 1 иМ = 2,а набор тонов состоит из двух сигналов. Если к = 2 и М = 4, в наборе уже содержится четыре тона. При к = 3 и М = 8 будет уже восемь сигналов и т.д. При использовании схемы MFSK за время пере­дачи символа отсылается только один тон, но доступная полоса пропускания — это весь набор тонов. Следовательно, при увеличении к или М за повышение достоверности пе­редачи придется платить расширением требуемой полосы пропускания.

в) При передаче неортогональных сигналов (схема MPSK или QAM) с ростом к или М дос­товерность передачи падает. Логично предположить, что компромисс повлечет за собой снижение требований к полосе пропускания. Рассмотрим следующий пример. Пусть требуется скорость передачи данных R = 9600 бит/с, а в качестве модуляции использует­ся 8-уровневая схема PSK. Тогда с помощью уравнения (9.1) скорость передачи симво­лов находится следующим образом:

R 9600 бит/с

К₅ = = = 3200 символов/с.

log₂ М 3 бит/символ

Если для передачи воспользоваться 16-уровневой схемой PSK, то скорость передачи символов будет равна следующему:

9600биг/с R_s = = 2400 символов/с.

4 бит/символ

Если применить 32-уровневую схему PSK, скорость передачи символов будет равна

9600 бит/с R_s = = 1920 символов/с.

5 бит/символ

Что происходит, когда на рис. 9.1,6 рабочая точка сдвигается вдоль горизонтальной ли­нии с кривой с к = 3 на кривую с к = 4 и далее на кривую с к = 5? При данной скорости передачи данных и вероятности появления ошибки каждый такой сдвиг позволяет осу­ществлять передачу на все более низких скоростях. Всякий раз, когда говорится “более низкая скорость передачи сигнала”, это эквивалентно сообщению, что имеется возмож­ность уменьшить ширину полосы пропускания. Аналогично любое повышение скорости передачи сигналов соответствует увеличению ширины полосы пропускания.

9.3. Минимальная тмпмня ппппги nnnnurrauua пп Няй|епм<~т\/

9.4. Теорема Шеннона-Хартли о пропускной способности канала

Шеннон [3] показал, что пропускная способность канала С с аддитивным белым гаус­совым шумом (additive white Gaussian noise — AWGN) является функцией средней мощности принятого сигнала S, средней мощности шума N и ширины полосы про­пускания W. Выражение для пропускной способности (теорема Шеннона-Хартли) можно записать следующим образом:

(9.2)

Если W измеряется в герцах, а логарифм берется по основанию 2, то пропускная способность будет иметь размерность бит/с. Теоретически (при использовании достаточно сложной схемы кодирования) информацию по каналу можно переда­вать с любой скоростью R (R < С) со сколь угодно малой вероятностью возникнове­ния ошибки. Если же R> С, то кода, на основе которого можно добиться сколь угодно малой вероятности возникновения ошибки, не существует. В работе Шен­нона показано, что величины S, N и W устанавливают пределы скорости передачи, а не вероятности появления ошибки. Шеннон [4] использовал уравнение (9.2) для графического представления доступных пределов производительности прикладных систем. Этот график, показанный на рис. 9.2, представляет нормированную про­пускную способность канала CIW в бит/с/Гц как функцию отношения сиг­нал/шум в канале. График, представленный на рис. 9.3, изображает зависимость нормированной полосы пропускания канала WIC в бит/с/Гц от отношения сиг­нал/шум канала. Иногда рис. 9.3 используется как иллюстрация компррмисса ме­жду мощностью и полосой пропускания, присущего идеальному каналу. Однако это не совсем компромисс [5], поскольку мощность детектируемого шума про­порциональна полосе пропускания:

N = N₀W.

Подставив выражение (9.3) в уравнение (9.2) и немного преобразовав последнее, по­лучаем следующее:

(9.4)

Если битовая скорость передачи равна пропускной способности канаЛа (R = С), то с помощью тождества (3.30) можно записать следующее:

  N₀C N₀

(9.5)

Гпакаа Q к'г^лппг^лмг'Гui ппм МГПППкЧПВЯНИИ МОЛУПЯУИИ И КОДИООВЭНИЯ

С/1/У(бит/с/Гц)   Рис. 9.2. Зависимость нормированной пропускной способности канала от SNR канала

W/С (Гц/бит/с)   Рис. 9.3. Зависимость нормированной полосы про­пускания канала от SNR канала

На рис. 9.4 представлен график зависимости WIC от EJN₀, описываемой форму­лой (9.6,в); асимптотическое поведение этой кривой при C/W0 (или W/C->°°) рас­сматривается в следующем разделе.

W/С (Гц/бит/с)   Рис. 94. Зависимость нормированной полосы пропускания ка­нала от EtJN₀

9.4.1. Предел Шеннона

Существует нижнее предельное значение E_tJN₀, при котором ни при какой скорости передачи нельзя осуществить безошибочную передачу информации. С помощью соот­ношения

Iim (l + x)^,/j; = е х —> О

можно рассчитать граничное значение E,JN_Q.

Пусть

Тогда, из уравнения (9.6,а),

£ = xlog₂(l + xf^x w

и

i=-^io_g2a+x)^1/x.

No

В пределе, при C/W -» 0, получаем

= —-— = 0,693 (9.7)

N₀ log₂ е

или, в децибелах,

Это значение EJN₀ называется пределом Шеннона (Shannon limit). На рис. 9.1, а предел Шеннона — это кривая зависимости Р_в от E,JN_a при к->°о. При E,JN₀ = -1,6 данная кривая скачкообразно изменяет свое значение с Р_в = 1/2 на Р_в = 0. В действительности достичь предела Шеннона невозможно, поскольку к возрастает неограниченно, а с ростом к возрастают требования к полосе пропускания и повышается сложность реа­лизации системы. Работа Шеннона — это теоретическое доказательство существова­ния кодов, которые могут улучшить Р_в или снизить требуемое значение E)JN_a от уров­ней некодированных двоичных схем модуляции до уровней, приближающихся к пре­дельной кривой. При вероятности появления битовой ошибки 10~⁵ двоичная фазовая манипуляция (binary phase-shift-keying — BPSK) требует значения EJNg, равного 9,6 дБ (оптимум некодированной двоичной модуляции). Следовательно, в данном случае в работе Шеннона указано, что теоретически, за счет использования кодирования, про­изводительность можно повысить на 11,2 дБ по сравнению с некодированной двоич­ной модуляцией. В настоящее время большую часть такого улучшения (почти 10 дБ) можно получить с помощью турбокодов (см. раздел 8.4). Оптимальную разработку системы можно наилучшим образом представить как поиск рациональных компро­миссов среди различных ограничений и взаимно противоречивых требований. Ком­промиссы модуляции и кодирования, т.е. выбор конкретных схем модуляции и коди­рования для наилучшего использования переданной мощности и ширины полосы, яв­ляются очень важными, поскольку имеется много причин для снижения мощности, а также существует необходимость экономии спектра радиочастот.

9.4.2. Энтропия

Для разработки системы связи с определенной способностью к обработке сообщений нужна метрика измерения объема передаваемой информации. Шеннон [3] ввел такую метрику Я, называемую энтропией источника сообщений (имеющего п возможных

выходных значений). Энтропия определяется как среднее количество информации, приходящееся на один выход источника, и выражается следующим образом:

П

Н = Pi log₂ р, бит/выход источника. (9.8)

/ = 1

Здесь pi — вероятность i-ro выходного значения и Ер, = 1. Если сообщение двоичное или источник имеет только два возможных выходных значения с вероятностями р и q = (1 -р), выражение для энтропии примет следующий вид:

Н = -(р log₂р + q log₂q). (9.9)

Зависимость энтропии от р показана на рис. 9.5.

  Вероятность, р Рис. 9.5. Зависимость энтропии от вероятно­сти (два события)

Величина Н имеет ряд особенностей.

1. Если логарифм в уравнении (9.8) берется по основанию 2, единица измерения Н — среднее число бит на событие. Здесь единица измерения бит — это мера количества информации, и ее не следует путать с термином “бит”, означающим “двоичная цифра” (binary digit — bit).

2. Сам термин “энтропия” имеет несколько неопределенный смысл, что вызвано наличием нескольких формулировок в статистической механике. Для информа­ционного источника с двумя равновероятными состояниями (например, выбра­сывание монеты правильной формы) из рис. 9.5 видно, что неопределенность исхода и, следовательно, среднее количество информации максимальны. Как

Г ПЯЙЭ Q к'пмпппммггу ппи иппппкяпвании МО ЛУЛ я ии и и кодиоования

только вероятности уходят от равновероятного состояния, среднее количество информации снижается. В пределе, когда одна из вероятностей обращается в нуль, Я также обращается в нуль. Результат известен до того, как произойдет со­бытие, так что исход не несет в себе дополнительной информации.

3. Для иллюстрации связи между количеством информации и априорной вероятно­стью (если априорная вероятность сообщения на приемнике является нулем или единицей, сообщение можно не посылать) рассмотрим следующий пример. По­сле девятимесячной беременности женщина оказывается в родильной палате. Муж с волнением ждет в приемной. Через некоторое время к нему подходит врач и говорит: “Примите мои поздравления, вы стали отцом”. Какую информа­цию отец получил от врача после медицинского исхода? Почти никакой; отец практически достоверно знал, что ребенок должен родиться. Если бы врач ска­зал, “вы стали отцом мальчика” или “вы стали отцом девочки”, он передал бы 1 бит информации, поскольку существует 50% вероятность того, что ребенок окажется девочкой или мальчиком.

Пример 9.2. Среднее количество информации в английском языке

а) Найдите среднее количество информации в бит/знак для английского языка, считая, что каждая из 26 букв алфавита появляется с равной вероятностью. Пробелы и знаки пунк­туации не учитываются.

Дата добавления: 2015-10-28