Лекція № 27 (БД – V семестр)
Тема 7.2.5 Системи баз знань, штучного інтелекту, експертні системи. OLAP і OLTP системи.
КОНТРОЛЬНІ ПИТАННЯ:
д/з скласти опорний конспект згідно списку та номеру самостійної роботи.
Существует три вида информационных систем:
1. База данных - система для хранения больших объёмов структурированной информации. К базам данных относятся следующие информационные системы:
o каталог библиотеки;
o регистратура больницы;
o записная книжка мобильного телефона;
o база данных отдела кадров.
2. База знаний - система для хранения большого объема неструктурированной информации различных типов. К базам данных относятся следующие информационные системы:
o библиотека;
o сеть Интернет.
3. Информационно-аналитическая система - система, предназначенная как для хранения, так и для анализа хранимой информации
o Exсel;
o 1С бухгалтерия;
o 1C предприятие.
Все электронные информационные системы делятся на два класса по способу хранения информации:
1. Не сетевые информационные системы, работающие по технологии файл-сервер.
2. Сетевые информационные системы, работающие по технологии клиент-сервер.
Основное отличие технологии клиент-сервер от технологии файл-сервер заключается в способе хранения информации, суть технологии файл-сервер заключается в следующем - интерфейс информационной системы и данные, с которыми она работает храниться на одном компьютере (локально).
Преимущества и недостатки технологии Файл-Сервер: | Преимущества и недостатки технологии Клиент-Сервер: | ||
+ | простота разработки; | + | простая синхронизация данных; |
+ | независимость от компьютера сети; | + | низкая стоимость аппаратного обеспечения (мощным должен быть только сервер); |
+ | высокая защита от несанкционированного доступа; | + | оперативное изменение структуры данных; |
- | не оперативное обновление данных на нескольких компьютерах; | - | низкая защита от несанкционированного доступа; |
- | высокая стоимость компьютеров для работы в такой системе; | - | зависимость от компьютерной сети; |
- | сложность изменения структуры данных. | - | высокая стоимость. |
Основные понятия информационных систем
Любая информационная система или база данных (с точки зрения их создания) в языках программирования состоят из трёх компонентов:
1. Файл данных - файл, который содержит внутри себя структуру данных. К структуре данных относятся таблицы, запросы и фильтры, а также хранимые процедуры, пользовательские функции диаграммы и триггеры;
2. Объект связи - объект языка программирования, осуществляющий связь между файлом данных и интерфейсом информационной системы;
3. Интерфейс информационной системы - комплекс средств, осуществляющий взаимодействие системы с конечными пользователями. Он может находиться как на клиентском компьютере, так и на сервере.
Само название "искусственный интеллект" возникло в конце 60-х гг. XX в., а в 1969 г. состоялась первая Всемирная конференция по искусственному интеллекту (Вашингтон, США).
Вначале искусственный интеллект развивался в т.н. аналитическом (функциональном) направлении, при котором машине предписывалось (человеком) выполнять частные интеллектуальные задачи творческого характера (игры, перевод с одного языка на другой, живопись и др.).
В рамках модельного направления нашли развитие, в основном, две модели интеллекта. Хронологически первой была лабиринтная модель, реализующая целенаправленный поиск в лабиринте альтернативных путей к решению задачи с оценкой успеха после каждого шага или с позиций решения задачи в целом. Иными словами, лабиринтная модель сводится к перебору возможных вариантов (по аналогии с перебором вариантов выхода из лабиринта). Успех (или неудачу) в выборе того или иного варианта можно оценивать на каждом шаге, не предвидя окончательного результата решения задачи, или, наоборот, выбор варианта на каждом шаге производить, исходя из окончательного результата При таком подходе подразумевается, что успех на каждом ходе приведет к успеху всей партии, т.е. к победе. Но это вовсе не обязательно. Ведь можно заманить короля соперника в матовую ловушку, жертвуя в серии ходов фигуры, теряя кажущееся позиционное преимущество. При таком подходе частные успехи на каждом ходе ничего не значат по сравнению с последним победным ходом – объявлением мата.
Первый подход в лабиринтном моделировании получил свое развитие в эвристическом программировании, второй подход – в динамическом программировании. По-видимому, динамический подход эффективнее эвристического, если говорить о шахматах. Во всяком случае, сильные шахматисты, сами того не предполагая, использовали именно динамический подход против шахматных программ, работающих в эвристическом режиме, и своим естественным интеллектом побеждали лабиринтный искусственный интеллект. Но так было в 60-70 гг. XX в. С тех пор шахматные программы усовершенствовались настолько (в том числе, за счет внедрения динамического подхода), что сейчас успешно противостоят чемпионам мира.
Лабиринтные модели широко использовались не только при создании шахматных программ, но и для программирования других игр, а также для доказательства математических теорем и в других приложениях. Вслед за лабиринтными моделями искусственного интеллекта появились ассоциативные модели. Ассоциация (от лат. association – соединение) – связь психологических представлений (обусловленная, предшествующим опытом), благодаря которой одно представление, появившись в сознании, вызывает другое представление (по принципу сходства, смежности или противоположности). В ассоциативных моделях предполагается, что решение новой, неизвестной задачи так или иначе основано на уже известных решенных задачах, похожих на новую. Поэтому способ решения новой задачи основан на ассоциативном принципе сходства (подобия). Для его реализации используются ассоциативный поиск в памяти, ассоциативные логические рассуждения, использующие освоенные машиной приемы решения задач в новой ситуации, и т.п. В современных компьютерах и интеллектуальных роботах существует ассоциативная память. Ассоциативные модели используются в задачах классификации, распознавания образов, обучения.
. Oсновные творцы искусственного интеллекта:
Н. Винер (математик), У.Р. Эшби (биолог) – основоположники кибернетики, впервые заявившие, что машины могут быть умнее людей, давшие первоначальный толчок развитию теории искусственного интеллекта
У. Маккаллок, У. Питс (физиологи) – в 1943г. предложили формальную модель нейрона; основоположники нейрокибернетики.
А. Тьюринг (математик) – в 1937 г. изобрел универсальную алгоритмическую "машину Тьюринга"; предложил интеллектуальный "тест Тьюринга", позволяющий определить, разумна ли машина, в сравнительном диалоге с ней и "разумным человеком".
Дж. Фон Нейман (математик) – один из основоположников теории игр и теории самовоспроизводящихся автоматов, архитектуры первых поколений компьютеров.
М. Мински (математик) – автор понятия фрейма, основополагающего в машинном представлении знаний; один из авторов теории персептрона – устройства для распознавания образов.
М. Сомальвико (кибернетик), А. Азимов (биохимик, писатель) – основоположники интеллектуальной робототехники.
Г. Саймон, У. Рейтман (психологи) – авторы и разработчики первых лабиринтных интеллектуальных моделей, построенных на принципах эвристического программирования.
Р. Беллман (математик), С.Ю. Маслов (логик) – авторы динамического подхода к лабиринтным интеллектуальным моделям (динамического программирования, обратного метода доказательств).
Ф. Розенблатт (физиолог), М.М. Бонгард (физик) – первооткрыватели проблемы распознавания образов; разработчики устройств и моделей распознавания и классификации.
Л. Заде, А.Н. Колмогоров, А.Н. Тихонов, М.А. Гиршик (математики) – авторы математических методов решения плохо формализованных задач и принятия решений в условиях неопределенности.
Н. Хомски (математик, филолог) – основоположник математической лингвистики.
Л.Р. Лурия (психолог) – основоположник нейропсихологии, изучающей глубинные механизмы познавательной деятельности мозга и других интеллектуальных функций мозга.
К.Э. Шеннон (инженер-связист), Р.Х. Зарипов (математик) – авторы теории и моделей машинного синтеза музыки.
Существует две точки зрения на то, что следовало бы считать искусственным интеллектом. Первую можно назвать нейробионической. Ее сторонники ставят перед собой цель воспроизвести искусственным образом те процессы, которые протекают в мозгу человека, — это путь изучения естественного мозга, выявление способов его работы, создания технических средств для повторения биологических структур и протекающих в них процессов.
Вторая точка зрения, доминирующая в проблеме искусственного интеллекта, может быть названа информационной. Сторонники информационного исхода считают, что основной целью работ в искусственном интеллекте является не построение технического аналога биологической системы, а создание средств для решения задач, традиционно считающихся интеллектуальными.
Информационная точка зрения в свою очередь неоднородна. В ней можно выделить три направления.
1. Часть специалистов считает, что можно найти свой способ ее решения на ЭВМ, который даст либо результат, подобный человеческому, либо даже лучший. Достаточно назвать, например, программы для игры в шахматы, которые играют в эту игру лучше подавляющего большинства людей, проводящих время за шахматной доской. Но делают это программы совсем не так, как люди.
2. Другая часть специалистов считает, что искусственный интеллект должен имитировать не решение отдельных (пусть и весьма творческих) задач. Ибо естественный интеллект человека — это его способность при необходимости обучаться тому или иному виду творческой деятельности, значит, и программы, создаваемые в искусственном интеллекте, должны быть ориентированы не на решение конкретных задач, а на создание для автоматического построения необходимых программ решения конкретных задач, когда в этом возникает необходимость.
3. Третья часть специалистов – это программисты, чьими руками делают программы для решения задач искусственного интеллекта.
Первые модели Формальных нейронов были предложены Мак-Калоком и Питсом.
По сути, эти элементы реализовали пороговую функцию, сигнал на выходе элемента возникал лишь тогда, когда взвешенная сумма разрешающих входных сигналов превышала взвешенную сумму запрещающих входных сигналов более чем на величину, определяемую значением порога элемента. Варьируя значения весов и порога, можно было добиться нужного срабатывания формального нейрона. Объединенные в сети, такие нейроны представлялись весьма мощным способом реализации различных процедур. Одним из наиболее известных нейробионических устройств был персептрон, предложенный Ф. Розенблатом. Он породил целое семейство конструкций, в основе которых лежала идея первоначального устройства Розенблата.
Метод, который лежал в основе функционирования персептрона, похож на те приемы, которые используются в распознавании образов. Это научное направление весьма близко соприкасается с исследованиями по искусственному интеллекту.
Дальнейшие исследования в области нейробионических устройств шли по пути увеличения числа слоев из формальных нейронов, изменения и усложнения способа функционирования нейронов и построения решающего правила; параллельно развивалась теория персептронов. Но два обстоятельства затормозили эти работы. Очень быстро при решении практических задач распознавания стало понятно, что возможности устройств типа персептронов ограничены. Программы для решения интеллектуальных задач могут быть разделены на несколько групп, которые определяются типом задач, решаемых этими программами. Первую группу составляют игровые программы, они, в свою очередь, делятся на две подгруппы: человеческие игры и компьютерные игры. Особенностью всех программ для имитации человеческих игр является большая роль поисковых процедур — поиск лучшего или локально лучшего хода требует в сложных играх типа шахмат просмотра большого числа вариантов. Недаром шахматные программы являются специальным тестом для проверки эффективности поисковых процедур.
Именно поисковые процедуры казались на первом этапе развития работ по интеллектуальным программам той метапроцедурой, с помощью которой можно будет решать все интеллектуальные задачи. Первая программа, которая обобщила эту идею, называлась "Общий решатель задач". В этой программе, созданной А. Ньюэллом, Дж. Шоу и Г. Саймоном, поиск с локальными критериями успеха был основной процедурой. Решение всех задач, по мысли авторов, могло быть сведено к поиску пути в лабиринте альтернативных возможностей.
Переборные игры составляют, по-видимому, большинство во множестве распространенных среди людей игр.
Стохастические игры появляются тогда, когда в процессе игры возникают вероятностные шаги или очередная ситуация формируется при участии некоторого вероятностного механизма. С программированием таких игр (например, карточной игры в очко) связано развитие методов правдоподобного оценивания вариантов, получившего в искусственном интеллекте заметное использование. Во всех таких ситуациях важно уметь пересчитать оценку правдоподобия результирующей ситуации после выбора определенного хода с учетом оценок правдоподобия текущей ситуации и выбора противника.
К стохастическим играм примыкают и игры с неполной информацией, когда при принятии решения необходимо как-то оценивать недостающую информацию. Эти приемы постоянно используются при обращении к содержимому памяти в интеллектуальных системах, когда в ней отсутствует нужная информация, что является почти стандартной ситуацией при функционировании таких систем в сложных предметных областях.
Программы решения и 
нтеллектуальных задач.
Компьютерные игры, получившие в последнее время столь широкое распространение, вообще говоря, не относятся традиционно к работам по искусственному интеллекту.
С самого начала появления ЭВМ стали создаваться программы для машинного перевода и автоматического реферирования текстов. Создание этих программ оказало значительное влияние на развитие искусственного интеллекта, заложило основы тех работ, которые были непосредственно связаны с естественно-языковым общением пользователей с интеллектуальными системами.
В системах машинного перевода были разработаны модели и методы, позволяющие автоматически проводить морфологический, синтаксический и во многом семантический анализ фраз естественного языка, нащупаны приемы анализа связного текста. Все эти результаты активно используются при обработке естественно-языковых текстов в интеллектуальных системах.
В работах по автоматическому реферированию были заложены основы понимания общей структуры текста как целого, от идеи "что говорится" был сделан переход к идее "о чем говорится". Это позволило на более высоком уровне создавать программы генерации текстов. Если первые программы такого вида основывались на жестких моделях порождения или вероятностных механизмах, то более поздние программы генерации текстов стали опираться на идеи сценариев, а также на приемы, наработанные в программах по автоматическому реферированию.
Музыкальные программы, пожалуй, наиболее известны широкой публике, так как первые опыты по созданию таких программ сразу дали весьма обнадеживающие результаты. Этот успех связан опять-таки с наличием, с одной стороны, жестких правил при построении мелодии, а с другой стороны, во многом вероятностными моделями, порождающими остальные элементы музыкального произведения.
Узнающие программы зародились в недрах исследований по распознаванию образов. многие из них оказали значительное влияние на идеи, характерные для работ по созданию интеллектуальных систем, особенно при создании обучающих систем.
Несколько особняком стоят программы, с помощью которых создаются машинные произведения в области графики и живописи. Эти исследования связаны, в основном, с появлением специальных программных и в меньшей мере аппаратных средств для устройств графического вывода. Но косвенно эти программы оказывают влияние на те разделы искусственного интеллекта, которые связаны с использованием зрительных образов при решении задач.
Под экспертной системой (ЭС) будем понимать программу, которая использует знания специалистов (экспертов) о некоторой конкретной узко специализированной предметной области и в пределах этой области способна принимать решения на уровне эксперта-профессионала.
Осознание полезности систем, которые могут копировать дорогостоящие или редко встречающиеся человеческие знания, привело к широкому внедрению и расцвету этой технологии в 80-е, 90-е годы прошлого века. Основу успеха ЭС составили два важных свойства, отмечаемые рядом исследователей:
Основными категориями решаемых ЭС задач являются: диагностика, управление (в том числе технологическими процессами), интерпретация, прогнозирование, проектирование, отладка и ремонт, планирование, наблюдение (мониторинг), обучение.
Разработка ЭС связана с определенными трудностями, которые необходимо хорошо знать, так же как и способы их преодоления. Рассмотрим подробнее эти проблемы.
1. Проблема извлечения знаний экспертов. Ни один специалист никогда просто так не раскроет секреты своего профессионального мастерства, свои сокровенные знания в профессиональной области.
2. Проблема формализации знаний экспертов. Эксперты-специалисты в определенной области, как правило, не в состоянии формализовать свои знания. Часто они принимают правильные решения на интуитивном уровне и не могут аргументированно объяснить, почему принято то или иное решение.
3. Проблема нехватки времени у эксперта. Выбранный для разработки эксперт не может найти достаточно времени для выполнения проекта. Он слишком занят. Он всем нужен. У него есть проблемы.
4. Правила, формализованные экспертом, не дают необходимой точности. Проблему можно избежать, если решать вместе с экспертом реальные задачи. Эксперт, как правило, легче понимает правила, записанные на языке, близком к естественному, а не на языке типа LISP или PROLOG.
5. Недостаток ресурсов. В качестве ресурсов выступают персонал (инженеры знаний, разработчики инструментальных средств, эксперты) и средства построения ЭС (средства разработки и средства поддержки).
6. Неадекватность инструментальных средств решаемой задаче. Часто определенные типы знаний (например, временные или пространственные) не могут быть легко представлены на одном ЯПЗ, так же как и разные схемы представления (например, фреймы и продукции) не могут быть достаточно эффективно реализованы на одном ЯПЗ.
Экспертные системы требуют много времени на разработку. Так, создание системы PUFF для интерпретации функциональных тестов легких потребовало 5 человеко-лет, на разработку системы PROCPECTOR для разведки рудных месторождений ушло 30 человеко-лет, система XCON для расчета конфигурации компьютерных систем на основе VAX 11/780 потребовала 8 человеко-лет.
ОЛАР
Сейчас во многих организациях накоплены значительные объемы данных, на основе которых можно решать разнообразные аналитические и управленческие задачи. Проблемы хранения и обработки аналитической информации становятся все более актуальными, что привело к формированию полноценного рынка технологий бизнес-анализа.
В идеале работа аналитиков и руководителей различных уровней должна быть организована так, чтобы они могли иметь доступ ко всей интересующей их информации и пользоваться удобными и простыми средствами представления и работы с этой информацией.
Назначение систем поддержки принятия решений — помочь руководителям "выявить тенденции, определить проблемы и предложить... разумное решение".
Подобные системы создаются на основе таких теорий, как исследование операций, теория поведения и научная теория управления, а также с помощью методов статистической обработки.
В настоящее время принято различать следующие основные вида аналитической деятельности:
1. стандартная отчетность;
2. нерегламентированные запросы;
3. многомерный анализ (OLAP online analytical processing);
4. извлечение знаний (data mining).
Каждая из этих технологий имеет свои особенности, определенный набор типовых задач и должна поддерживаться специализированной инструментальной средой.
В конце 1960-х и начале 1970-х годов исследователи Гарвардского университета и Массачусетского технологического института начали пропагандировать идею использования компьютеров в процессе выработки решений. Сначала такое использование ограничивалось в основном автоматизацией генерации отчетов, хотя иногда предусматривались и элементарные аналитические возможности. Первые компьютерные системы сначала назывались автоматизированными системами управления, а позже — системами управления информацией. Однако «системами управления информацией" могут или должны считаться все информационные системы, включая, например, систему оперативной обработки транзакций (On-Line Transaction Processing — OLTP), поскольку в конечном счете все они используются в деловых процессах и влияют на управление ими.
Сбор и хранение информации, а также решение задач информационно-поискового запроса эффективно реализуются средствами систем управления базами данных (СУБД). В OLTP (Online Transaction Processing)-подсистемах реализуется транзакционная обработка данных. Непосредственно OLTP-системы не подходят для полноценного анализа информации в силу противоречивости требований, предъявляемых к OLTP-системам и СППР.
Организация обычно имеет несколько различных систем OLTP, предназначенных для поддержки таких деловых процессов, как управление запасами, выставление счетов клиентам и продажа товаров. Эти системы вырабатывают оперативные данные, которые являются очень подробными, текущими и подверженными изменениям. Системы OLTP оптимально подходят для интенсивной обработки транзакций, которые проектируются заранее, многократно повторяются и связаны преимущественно с обновлением данных. В соответствии с этими особенностями, данные в системах OLTP организованы согласно требованиям конкретных деловых приложений и позволяют принимать повседневные решения большому количеству параллельно работающих пользователей-исполнителей.
Требования к операционной обработке данных (333\lect2\Раздел1)
- Производительность и масштабируемость;
- высокая доступность данных, обеспечивающая непрерывность функционирования приложений, работающих с БД, и минимум административных издержек;
- безопасность хранения данных, обеспечиваемая шифрованием важных данных, аудитом модификации данных и метаданных, применением внешних криптографических ключей;
- управляемость данных, позволяющая снизить затраты времени и средств на управление инфраструктурой обработки и хранения данных.
(Коннолли)
В противоположность сказанному выше, в организации обычно имеется только одно хранилище данных, которое содержит исторические, подробные, до определенной степени обобщенные и практически неизменные данные (т.е. новые данные могут только добавляться). Хранилища данных предназначены для обработки относительно небольшого количества транзакций, которые имеют непредсказуемый характер и требуют ответа на произвольные, неструктурированные и эвристические запросы. Информация в хранилище данных организована в соответствии с требованиями возможных запросов и предназначена для поддержки принятия долговременных стратегических решений относительно небольшим количеством руководящих работников.
Хотя системы OLTP и хранилища данных имеют совершенно разные характеристики и создаются для различных целей, все же они тесно связаны в том смысле, что системы OLTP являются источником информации для хранилища данных.
Сравнение основных характеристик типичных систем OLTP и хранилищ данных (Коннолли)
Система OLTP | Хранилище данных |
Содержит текущие данные | Содержит исторические данные |
Хранит подробные сведения | Хранит подробные сведения, а также частично и полностью обобщенные данные |
Данные являются динамическими | Данные в основном являются статическими |
Повторяющийся способ обработки данных | Нерегламентированный, неструктурированный и эвристический способ обработки данных |
Высокая интенсивность обработки транзакций | Средняя и низкая интенсивность обработки транзакций |
Предсказуемый способ использования данных | Непредсказуемый способ использования данных |
Предназначена для обработки транзакций | Предназначено для проведения анализа |
Ориентирована на прикладные области | Ориентировано на предметные области |
Поддержка принятия повседневных решений | Поддержка принятия стратегических решений |
Обслуживает большое количество работников исполнительного звена | Обслуживает относительно малое количество работников руководящего звена |
OLAP - технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решений.
Пользователи OLAP систем
- Руководители и менеджмент
- Бизнес-аналитики, маркетологи и аналитики по планированию развития
- Руководители среднего и младшего звена
- Рядовые сотрудники
- Сотрудники ИТ служб
- Другие приложения
Основное назначение OLAP-систем - поддержка аналитической деятельности, произвольных (часто используется термин ad-hoc - "на лету") запросов пользователей. Цель OLAP-анализа - проверка возникающих гипотез.
Технология OLAP позволяет аналитикам, менеджерам и управляющим сформировать свое собственное видение данных, используя быстрый, единообразный, оперативный доступ к разнообразным формам представления информации. Эти формы, полученные на основании первичных данных, позволяют пользователю сформировать полноценное представление о деятельности предприятия. Функциональность OLAP заключается в динамическом многомерном анализе консолидированных данных предприятия, направленном на поддержание следующих аналитических и навигационных видов деятельности пользователя:
- Вычисления и моделирование, примененные к измерениям и/или их конкретным элементам, использующие информацию об иерархиях
- Анализ временных тенденций показателей (Анализ трендов)
- Формирование срезов многомерного представления для просмотра на экране
- Переход к более глубоким уровням детализации
- Доступ к исходным данным
- "Вращение" многомерных представлений: перемещение измерений с целью формирования различных форм представления данных на экране компьютера
Дата добавления: 2015-09-29; просмотров: 37 | Нарушение авторских прав
| <== предыдущая лекция | | | следующая лекция ==> |
| Биосфера терминіне түсінік беріңіз | | | 11) Он вытащил письмо из кармана. |