Шенноның бірінші теоремасы.

Шеннон теоремасы (бірінші): мәліметті беру кезінде ешбір әсердің жоқ болу кезінде хабарламаны кодтаудың мынадай нұсқасы бар, бұнда кодталатын алфавиттің бір белгісіне келетін белгінің орташа коды бірлік немесе екілік алфавиттің белгілеріне жақын болады. Кодтау барысында хабар көзінің статистикалық қасиетін ескере отырып, хабардың бір әріпін анықтау үшін екілік символдардың орташа санын минималдауға болады, ол кедергі болмаған жағдайда ақпарат өткізу уақытын азайтады. Мұнда тиімді кодтау кедергісіз каналдарға арналған Шеннонның негізгі теоремасымен анықталады: Белгілі бір алфавиттің әріптерінен құралған z- хабары l әріпімен белгіленген екілік символдардың орташа саны, осы хабардың H(Z) энтропия көзіне қажет болғанынша жақын, бірақ бұдан кем емес, яғни l => H(Z) болатындай кодтауға болады.

41. Шеннон және Фано әдістері

Әріптер арасындағы статистикалық ара-қатынасының болмаған жағдайына байланысты, тиімді кодтарды жобалауға арналған конструктивтік тәсілдерді алғаш рет Шеннон мен Фэно берген. Шеннон мен Фэно коды келесідей берілген:

– әріптер;

– ықтималдықтары.

кему бойынша реттеледі, көпшілігі әр топшада болғанынша ықтималдықтар қосындысын бірдей етіп 2 топқа бөледі. Жоғарғы бөліктің барлық әріптеріне бірінші символ ретінде 1, ал төмендегілеріне 0 жазылады. Алынған топтар өз кезегінде бірдей ықтималдықтар қосындысынан алынған 2 топшаға 1 әріптен қалғанша қайталана береді.

Дата добавления: 2015-07-08