Исследование точности построения рекомендаций

Для того, чтобы определить, насколько точно строятся рекомендации, был предпринят анализ списка рекомендованных объектов для нескольких объектов системы. Одним из таких объектов был выбран “Мундир гренадёра”[10], так как он связан сразу с несколькими большими историческими темами (Война, Одежда, Финская Карелия, Офицеры Российской Империи). Список рекомендованных объектов был получен с помощью внутреннего REST-интерфейса системы:

http://mobile.openkarelia.org/get_recommendation_statistics?objectId=sip1RaqNRFGFxpSprFQzjQ&type=recommended.

Часть вывода:

[

{"recommendationStatistics":

{"total": 12.955555555555556,

"material": 0.0,

"name": 0.05555555555555536,

"author": 0.0,

"tags": 0.40000000000000036,

"site": 0.0,

"class": 1.0,

"showcase": 0.0,

"tags_intersection": 1,

"location": 0.9000000000000004,

"date": 0.0,

"technol": 0.0,

"location_on_plan": 0.0,

"rubrik": 0.5999999999999996,

"history": 10},

"_id": "NWn8ploqS86iZDsOVjA-cg",

"name": "Сундук фельдшера"},

…]

Результат данного запроса содержал список из 36 объектов, которые были признаны системой рекомендованными на основании их сходства с объектом “Мундир гренадёра”. На основании визуального анализа названий и описаний рекомендованных объектов было установлено, что большинство из них относится к одной из следующих тем: Война, Одежда, Образование, Старообрядцы, Женщины Карелии. Объекты, не входящие ни в одну из вышеперечисленных категорий, были объединены в псевдокатегорию “Прочее”. Распределение объектов по категориям представлено на Рис. 4. Первые 6 столбцов показывают распределение по вышеуказанным категориям; следующие два указывают, сколько объектов связаны с данным одной/двумя категориями, последний столбец показывает количество всех объектов.

Рисунок 4. Распределение объектов по категориям

Для оценки точности составления рекомендаций было принято допущение о том, что объекты относящиеся к категории “Война” или “Одежда”, можно считать верно подобранными и похожими на объект “Мундир гренадёра”. Анализ данных распределения объектов показал, что 26 объектов из списка рекомендованных принадлежат одной из вышеупомянутых категорий, а 6 из них принадлежат обеим категориям. Таким образом, точность рекомендаций для объекта “Мундир гренадёра” составила 72%. Анализ распределения объектов по категориям также показал, что объекты не входящие ни в категорию “Война” ни в категорию “Одежда” были признаны похожими на исходный объект благодаря наличию у них 1-2 общих тегов с “Мундиром гренадёра”. Данный факт демонстрирует слабое место предлагаемого подхода - отсутствие нижней границы для значения баллов близости. Подобная граница позволит еще более гибко варьировать требуемую для рекомендаций степень сходства.

Чтобы правильно ввести такую границу, необходимо провести исследование, в котором можно было бы варьировать минимальную величину баллов близости и, исходя из полученной оценки точности для множества различных объектов, определить оптимальное значение этой величины.

Рассмотрим несколько объектов системы «Открытая Карелия» по аналогии с объектом “Мундир гренадера”.

На рисунке 5 изображено распределение рекомендаций по категориям для объекта “Гостиница “Ладога””.

Рис 5. Распределение рекомендаций по категориям для объекта “Гостиница “Ладога””

На рисунке 6 изображено распределение рекомендаций по категориям для объекта “Монумент «Павшим за Родину»”

Рис 6. Распределение рекомендаций по категориям для объекта “Монумент «Павшим за Родину»”

Как видно из диаграммы на рисунке 5, точность рекомендаций для объекта “Гостиница “Ладога”” выше, чем для объекта “Мундир гренадера” и составляет 91%, для объекта “Монумент «Павшим за Родину»” – 75%, для объекта “Сарафан” – 83%.

Рассмотрим, как расположены в списке рекомендованных объекты, которые были признаны нерелевантными.

Таблица 4. Сравнение значений баллов близости у неревантных объектов

Объект	Минимальное значение баллов близости	Значения баллов близости нерелевантных рекомендаций
Гостиница “Ладога”	2.82777777778	3.23125	3.22631	3.20961
Мундир гренадера	2.30980392157	2.7333	2.73333	2.72083	2.70925	2.70555	2.48571	2.45625	2.32777	2.32631	2.30980
Монумент «Павшим за Родину»	2.22173913043	3.02	2.72	2.62173	2.62	2.61851	2.61562	2.22272	2.22173	2.22173
Сарафан	3.05581395349	3.77143	3.77143	3.52143	3.37142	3.3333(3)	3.32777

На основании исследования можно сделать вывод, что просто добавить нижнюю границу для баллов близости нельзя, поскольку для некоторых объектов это может отсечь релевантные объекты.

Из полученных данных можно сделать вывод, что одной из причин предоставления системой неревантных рекомендаций, кроме нижней границы, является отсутствие взвешивания тегов. Теги, которые встречаются часто, например, “Карелия”, “Финский”, “деревянный”, учитываются таким же образом, как и теги “Рускеала”, “Пожар”, “колокол”, хотя последние являются более конкретными.

Перед добавлением нижней границы для баллов близости, необходимо для поля «Теги» либо выбрать функцию отображения близости, которая бы учитывала семантические особенности каждого тега, либо взвешивать каждый тег. Данный шаг поможет расположить нерелевантные рекомендации в конец списка рекомендуемых. Следующим действием должно стать добавление нижней границы для баллов близости.

С целью сравнить рекомендованные объекты ИС «Открытая Карелия» с критерием отбора «Объекты с общими тегами», а также оценить вышеописанную метрику IF-IDF, при тестировании также была задействована система полнотекстового поиска Sphinx.

REST-запрос для получения списка рекомендованных объектов с общими тегами:

http://mobile.openkarelia.org/get_recommendation_statistics?objectId=sip1RaqNRFGFxpSprFQzjQ&type=tags

Для использования Sphinx проделаны следующие шаги:

· выделены теги объекта «Мундир гренадера»;

· составлен запрос, в котором данные теги были разделены знаком логической дизъюнкции;

· осуществлен полнотекстовый поиск с помощью Sphinx.

Пример запроса для тегов объекта “Мундир гренадера”:

search "1807|металлургический|1840|России|1862|1839|школа|Халлонблад|батальон|капитан|1888|офицер|финский|завод|1876|карьер"

Кроме отображения самых релевантных результатов запроса, система предоставляет результаты поиска отдельных слов для всех документов. Пример вывода:

words:

1. '1807': 6 documents, 6 hits

2. 'металлургическ': 7 documents, 9 hits

3. '1840': 13 documents, 13 hits

4. 'росс': 124 documents, 269 hits

5. '1862': 5 documents, 5 hits

6. '1839': 3 documents, 3 hits

7. 'школ': 38 documents, 76 hits

8. 'халлонблад': 10 documents, 23 hits

9. 'батальон': 11 documents, 34 hits

10. 'капита': 10 documents, 14 hits

11. '1888': 10 documents, 11 hits

12. 'офицер': 3 documents, 3 hits

13. 'финск': 139 documents, 236 hits

14. 'завод': 51 documents, 127 hits

15. '1876': 6 documents, 6 hits

16. 'карьер': 19 documents, 27 hits

Результаты поиска по запросу включают 334 совпадения. Поскольку Sphinx использует метрику tf-idf, каждый тег в запросе имеет свой собственный вес, однако Sphinx не учитывает другие факторы в запросе, которые учитываются при вычислении баллов близости. В результате исследования, было выявлено, что те объекты, которые Sphinx посчитал наиболее релевантными (Вяртсильский завод, Сортавальский мебельно-лыжный комбинат, Кузница в финской деревне Мёхкё) не являются релевантными ни в смысле баллов близости, ни при рассмотрении экспертами. Однако, всё же были объекты, которые считались релевантными и в смысле баллов близости и в смысле результатов полнотекстового поиска (например, Письмо военное).

Из вышеописанного можно сделать вывод, что система Sphinx может быть полезна как и при вычислении баллов близости, так и при тестировании системы рекомендаций, однако результаты её работы при вычислении баллов близости должны быть использованы совместно с результами вычисления функций сходства для различных полей объекта. Для этого необходимо провести исследование совместно с экспертами о величине вклада рейтинга полученных системой Sphinx объектов, т.е. «веса» данной функции сходства, а также того, как правильно использовать полученный в результате работы системы рейтинг документа.

- описать сколько нужно протестировать объектов чтобы показать точность системы

Дата добавления: 2015-10-16