Метод k-ближайших соседей

Метод k ближайших соседей (англ. k-nearest neighbor algorithm) - метод автоматической классификации объектов. Основным принципом метода ближайших соседей является то, что объект присваивается тому классу, который является наиболее распространённым среди соседей данного элемента.

Соседи берутся исходя из множества объектов, классы которых уже известны, и, исходя из ключевого для данного метода значения k высчитывается, какой класс наиболее многочислен среди них.

Помимо классической задачи отыскания ближайшей к заданной точке, могут быть поставлены задачи:

1. найти приблизительных ближайших соседей (не обязательно наиболее близкого);

2. найти ближайшего соседа для группы элементов;

3. найти несколько ближайших соседей;

4. найти все пары элементов, расстояние между которыми меньше некоторого заданного;

5. найти ближайших соседей в динамически меняющейся среде.

Данный метод по своей сути относится к категории "обучение без учителя", т.е. является "самообучающейся" технологией, благодаря чему рабочие характеристики каждой базы прецедентов с течением времени и накоплением примеров улучшаются. Разработка баз прецедентов по конкретной предметной области происходит на естественном для человека языке, следовательно, может быть выполнена наиболее опытными сотрудниками компании - экспертами или аналитиками, работающими в данной предметной области

Пример классификации k ближайших соседей (рис. 3). Зеленый круг должен быть классифицирован как синий квадрат (класс 1) или как красный треугольник (класс 2). Если k = 3, то она классифицируется как 2ой класс, потому что внутри меньшего круга 2 треугольника и только 1 квадрат. Если k = 5, то он будет классифицирован как 1ый класс (3 квадрата против 2ух треугольников внутри большего круга).

Рис.3 Пример классификации k ближайших соседей

Для интеллектуального анализа данных на практических занятиях будет использоваться открытый программный продукт, свободно распространяемый – RapidMiner.

RapidMiner — среда для проведения экспериментов и решения задач машинного обучения и интеллектуального анализа данных. Эксперименты описываются в виде суперпозиций произвольного числа произвольным образом вложенных операторов, и легко строятся средствами визуального графического интерфейса RapidMiner-а.

RapidMiner может работать и как отдельное приложение, и как «интеллектуальный движок», встраиваемый в другие приложения, включая коммерческие.

Приложениями RapidMiner-а могут быть как исследовательские (модельные), так и прикладные (реальные) задачи интеллектуального анализа данных, включая анализ текста (text mining), анализ мультимедиа (multimedia mining), анализ потоков данных (data stream mining).

RapidMiner предоставляет более 400 операторов для всех наиболее известных методов машинного обучения, включая ввод и вывод, предварительную обработку данных и визуализацию.

Имеется встроенный язык сценариев, позволяющий выполнять массивные серии экспериментов.

Концепция многоуровневого представления данных (multi-layered data view) обеспечивает эффективную и прозрачную работу с данными.

Графическая подсистема обеспечивает многомерную визуализацию данных и моделей.

Дата добавления: 2015-11-14