Шеннон бойынша анықтау

Клод Шеннонның тұжырымы бойынша жұмсалған анықталмағандық мәліменттің өсуіне тең, және соны өзгертуге талаптар қойды:

1. Өлшем үздіксіз болу керек;кіші шамаға ықтималдық шамасының өзгеруі өзгеру функциясында аз нәтижекөрсету керек;

2. Барлық жағдайлар(әріптер) тең ықтималды болғанда,жағдай(әріп) санының өсуі функция шамасын да өсіру керек;

3. Соңғы нәтижелі функция аралық функция қосындысы болатын екі қадамға таңдау жасай алатын мүмкіндік болу керек.

Сондықтан энтропия функциясы шартты қанағаттандыру керек

анықталған және , мқндағы үшін үздіксіз және .

1. Бүтін оң үшін орындалу керек:

2. Бүтін оң үшін, мұндағы , мына теңдік орындалу керек

Шеннонның көрсетуі бойынша бұл шарттарға бағынатын жалғыз функция мына түрде

Мұндағы — константа (өлшеу шамасын таңдау үшін қолданылады).

Мәлімет көзіне қолданатын энтропия өлшеу (), кодаланған екілік сан түрде мәліметті тиімді тасымалдау үшін өткізу қабілетті арналарға қойылатын минималды талаптарды анықтауға болады.

Мәлімет көзіннен санмен көсетілген «мәлімет санынның» математикалық күтуін есептеу Шеннон формуласының нәтижесі үшін қажетті. Кездейсоқ айнамалыларды тұрақсыз орындау Шеннонның энтропия шамасымен анықталады. Сонымен, энтропия хабарламадада көрсетіген мәліметтердің хабарламада нақты белгілі мәліметпен айырмашылығы болып табылады. Бұған мысал ретінде тілдегі артықтық бола алады — әріптердің пайда болуында нақты статистикалық заңдылық, әріптердің тізбектелген жұбы, және т.б.

Шеннон энтропиясының анықтамасы термодинамикалық энтропия ұғымымен байланысты. Ақпараттық теорияға «энтропия» ұғымын енгізуде статистикалық термодинамика саласында Больцман және Гоббс үлкен жұмыс атқарды. Термодинамикалық және ақпараттық энтропия арасында байланыс бар.

Меншікті ақпарат арқылы анықтау

Сондай- ақ, кездейсоқ шамалардың энтропиясын анықтау үшін кездейсоқ шамаларды үлестіру ұғымын енгіземіз

Және меншікті ақпарат:

Энтропия анықталады:

Кездейсоқ шамасының мүмкін болатын жағдайлар санына ақпарат санын өлшеу шамасы және энтропия: бит, нат, трит немесе хартли тәуелді.
Мәлімет көзі үшін ықтималды модель контекстінде анықталған сан энтропия болып табылады. Мысалы, тиын лақтыру энтропиясы:

бит бір лақтырғанда, ал мүмкін болатын жағдай саны тең: мүмкін болатын жағдай.

	Хабарлама көзі

xn

	Кедергі көзі

Ақпарат берудің жалпы сұлбасы.

Хабарлама –әр түрлі физикалық табиғаты бар сигналдың көмегімен ақпарат көзінен хабарлама алушыға жіберуге арналған белгілі бір формадағы ақпарат. Хабарлама бұл жерде телеграмма, фототелеграмма, сөз, теледиарлық сурет, әр түрлі байланыс каналдарымен берілетін ЭВМ-ның шығысындағы мәліметтер және т.б., нысаннан шығатын әр түрлі физикалық табиғаты бар сигналдар.

Сигнал –параметрлері хабарламаны баламалы түрде суреттейтін кез-келген физикалық процессті көрсететін ақпаратты материалды тасушы. Физикалық табиғаты бойынша сигналдар электрлік, акустикалық, оптикалық, электромагниттік және т.б. болып бөлінеді.

Ақпаратты қорғау –мемлекеттік, қызметтік, коммерциялық, жеке құпияларды сақтауға бағытталған және кез-келген түрдегі ақпаратты тасымалдаушыны сақтауға арналған қызмет.

Ақпаратты қорғау жүйесі - қорғау мақсатымен және ойымен, керекті техникалық құрылғыларды қолданумен және концепцияға қатысты әдістермен жүргізілген ақпаратты қорғауға арналған ұйымдық және техникалық шара жиынтығы.

Негізгі әдебиет: 2(97-106), 3(12-15); 5(7-9).

Қосымша әдебиет: 16(15-25); 17(5-30).

Бақылау сұрақтары:

1. Ақпараттық теорияның негізгі міндетін анықтау.

2. Байланыс жүйесі түсінігін анықтау.

3. Ақпаратты жіберу сұлбасы қандай блоктардан тұрады?

4. Ақпараттың қандай ерекшеліктерін білесіңдер?

Дата добавления: 2015-10-23