Шартты энтропия (жалпы).

Жалпы шартты энтропия хабарламасына қатысты таратылатыны белгілі болса, қабылдағыштағы ақпарат санын сипаттайды, (немесе, ансамбльдің жағдайы белгілі болғанда, ансамблінің бір жағдайына шаққанда орташа анықталмағандық).

(1.4)

Қасиеттері:

және екі ансамбльдерін біріктіру үшін

және .

Жалпы жағдайда егер біз -ның сигналдарын тасымалдап және -ның cигналдарын алуды күтетін болсақ, онда байланыс каналында кедергілердің әсері толығымен келесі түрдегі каналдық матрицамен баяндалады:

Диагональдар бойынша орналасқан ықтималдылықтар дұрыс, ал қалғандары – жалған қабылдауды анықтайды.

Каналдық матрицаның колонкаларын толтыратын цифрлардың мәні, әдетте негізгі диагональдан қашықтаған сайын кемиді және кедергінің болмаған жағдайында негізгі диогональда орналасқандардың барлығы, цифрдан басқаларының бәрі нөлге тең болады.

11)Ақпарат мөлшері және артықшылық- Ақпарат саны дегеніміз сынақ нәтижесінде энтропияның азаюы. Егер анықталмағандық толығымен жойылса, онда ақпарат энтропияға тең:

, кері жағдайда бастапқы және соңғы энтропиялардың айырмасына тең:

(2.1)

Ақпараттың ең үлкен саны максималды анықталмағандық жойылғанда – барлық оқиғалардың ықтималдылықтары бірдей болғанда анықталады.

, мұндағы – барлық оқиғалардың бірдей ықтималдықтар жағдайында іске асу ықтималдылығы.

Ақпарат артықшылығы дегеніміз ақпараттың максималды мүмкін саны мен энтропия арасындағы айырмашылық:

(2.2)

12) Дифференциалдық энтропия- Тәжірибе жүзінде ақпарат көзінің мүмкін жағдайларының жиынтығы континуум, яғни үздіксіз қайнар көздерді құрайды.

Үздіксіз ақпарат көзінің энтропиясын келесі түрде анықтаймыз: ықтималдылығыныңтығыздықүлестірумен сипатталатын , үздіксіз кездейсоқ шаманың өзгеру диапазонын, ені бар кіші интервалдардың ақырғы санына бөлеміз. интервалына жататын - дың кез келген мәнін іске асырғанда, дискретті кездейсоқ шаманың, мәні іске асырылады деп есептейміз. кіші болғандықтан, интервалынан мәнінің іске асу ықтималдылығы төмендегідей:

Онда дискретті кездейсоқ шаманың энтропиясы келесі түрде жазылуы мүмкін:

немесе

сол себепті

онда

кішіреюіне байланысты , ықтималдылығына жақындай түседі, оның мәні нөлге тең. Ал дискретті шаманың қасиеті – үздіксіз кездейсоқ шаманың қасиетіне жақындай түседі. шекке көше отырып, үздіксіз қайнар көздің энтропиясы үшін келесідей өрнек аламыз:

немесе

(2.8)

Бұл шама жағдайында шексіздікке ұмтылады, ол мүмкін жағдайлардың (мәндердің) шексіз үлкен саннан таңдаудың анықталмағандығы шексіз үлкен деген интуитивті түсінікке толығымен сәйкес келеді.

(2.8) қатынастың оң бөлігінің бірінші мүшесінің ақырғы мәні бар. Ол үздіксіз кездейсоқ шаманың үлестіру заңына тәуелді және кванттау қадамына тәуелді емес. Оның құрылымы дискретті қайнар көздің энтропиясының құрылымындай.

Сол қатынастың екінші мүшесі, керісінше, кездейсоқ шаманың кванттау қадамына ғана тәуелді, осыған байланысты шексіздікке ұмтылады.

(2.8) өрнегінің бірінші мүшесін үздіксіз қайнар көздің анықталмағандығы ретінде қабылданылуы, үздіксіз қайнар көздің ақпараттық қасиетінің соңғы сипаттамаларын алу үшін бір қадамы болып табылады:

(2.9)

Ол салыстырмалы дифференциалды энтропия немесе үздіксіз ақпарат көзінің дифференциалдық энтропиясы деп аталынады ( кездейсоқ шаманың үздіксіз үлестірілуі).

Оның бірқалыпты үлестіруі бар, диапазоны бірге тең кездейсоқ шаманың таңдауының, орташа анықталмағандығыменсалыстырғанда еркін үлестіру заңдылығы бар кездейсоқ шаманы таңдаудың орташа анықталмағандығы ретінде қарастыруға болады.

Дифференциалды энтропияның қасиеттері:

a) кездейсоқ шама үшін оның мүмкін аумағы жалғыз шектеуі болса, онда бұл аймақта ықтималдылықтарды бірқалыпты үлестіру, максималды дифференциалды энтропияға ие болады;

б) Егер үздіксіз кездейсоқ шаманың мәндер аумағына шектеу болмаса, бірақ дисперсияның шектелмегені белгілі болса, онда шаманың нормальді үлестіруі, максимальды дифференциалды энтропияға ие болады.

13) Артықшылық түсінігі- Егер де мәлімет көзінің энтропиясы осы берілген сапалық белгілерден тұратын алфавит үшін максималды энтропияға тең емес болса, онда ол алдымен берілген мәлімет көзінің өте көп ақпаратқа ие болатындығын білдіреді.

Мұндай мәлімет көзінің абсолютты жүктелмеуі:

(бит/символ) (2.3)

Артық ақпараттың болуы алфавит символымен толық жүктелмеуін көрсетеді және шексіз өлшем болып табылады.

(2.4)

мұндағы: – қысу коэффициенті.

Ақпараттың артық болуының жалпы түсініктемесімен бірге оның жеке түрлері де бар:

1) Мәліметтердегі символдардың біркелкі таралмауына байланысты болатын ақпарат;

(2.5)

2) Мәлімет символдары арасындағы статистикалық байланыс себебінен болатын артық ақпарат

(2.6)

3) Толық артық ақпарат:

(2.7)

2.1-мысал. Мәлімет алфавитінен құрастырылған мәліметінің артық ақпарат санын анықтау қажет.

Шешуі:

Төрт әріптен тұратын алфавит үшін максималды энтропия:

бит/символ

Мәлімет символына орташа энтропия:

14) – кездейсоқ шаманың энтропиясы- Шуылы бар дискретті байланыс каналдары бойынша хабарламаны тасымалдағандағы ақпараттық жоғалтулар.

Дата добавления: 2015-07-08