Математикалық қасиет

6. Энтропияның тиімділігі

Ақпараттық энтропия —ақпараттың белгісіздік және болжап болмайтын шамасы, бастапқы алфавиттегі қандай да бір нышанның пайда болуының белгісіздігі.

Мысалы, орыс тілінде қандай да бір сөйлем құрайтын әріп реттілігі, әр әріп әр түрлі жиілікпен пайда болады, сондықтан кейбір әріптертің пайда болу белгісіздігі басқа әріптерге қарағанда аз.Егер кейбір әріптердің кездесуі сирек екенін ескерсек, белгісіздік одан сайын азаяды.

Ақпараттық энтропия түсінігін суреттеу үшін Демон Максвелл атын алған термодинамикалық энтропия облысының мысалына жүгінуге болады. Ақпарат және энтропия концепциялары бір-бірімен тығыз байланысқа ие, бірақ бұған қарамастан статикалық механика мен ақпарат теориясындағы теорияның өңделуі көп жылдарға созылды.

Энтропия —статикалық тәуелсіз хабарламаны өндіретін дерекнаманың қарапайым хабарламасына келетін ақпарат көлемі.

X пен n мүмкін жағдайларындағы тәуелсіз кездейсоқ оқиғалар үшін ақпаратттық екілік энтропия осы формуламен есептеледі

Тек қана «А» әріпінен тұратын, тармақ генерациялаушының қайнар көзінің энтропиясы нөлге тең: , ал мүмкін болар жағдайдың саны: мүмкін болар жағдай (мәні) («А») логарифм негізіне тәуелді емес.Бұл да ескеретін ақпарат. Энтропиясы нөлге тең, бірақ ақпарат саны 1ге тең разрядты пайдаланатын, есте сақтау құрылғысының мысалы ретінеде, ПЗУ да жазылған әр разряды тек бір ғана мүмкін жағдайға ие, берілгендер разряды бола алады.

Осылай, мысалыға, ағылшын тестінің энропиясы, символға 1,5 бит екенін анықтауға болады және ол әр түрлі тексттер үшін өзгеріп отырады. Берілгендер қайнар көзі энтропиясының дәрежесі берілгендер элементінің битінің ортақ санын білдіреді. Кейбір берілгендер биттерінде ешқандай ақпарат болмауы мүмкін. Мысалыға, әдетте берілгендер структурасы қажет емес ақпаратты сақтап турады, немесе берілгендер структурасындағы ақпаратқа тәуелсіз бірдей секцияға ие.

Энтропия саны әрдайым биттердің бүтін санымен беріле бермейді.

Дата добавления: 2015-10-23