Data Mining - общие сведения

Технология Data Mining – имеет несколько определений и дословно переводится как добыча или раскопка данных. Data Mining в самом общем понятии представляет собой технологию обнаружения знаний в базах данных. Data Mining так же часто называют интеллектуальным анализом данных. Наиболее общее определение Data Mining может быть сформулировано следующим образом: это технология обнаружения «сырых» данных ранее не известных, не тривиальных, практически полезных и доступных интерпретации знаний и необходимых для принятия решений в различных сферах человеческой деятельности. Новые знания предполагают информацию которая должна удовлетворять следующим требованиям:

1. Информация найденная с помощью Data Mining должна быть ранее неизвестной и не тривиальной, знания должны описывать новые связи между свойствами объекта и его характеристиками. Предсказывать значения одних признаков на основе других.
2. Информация должна быть логически понятна ЛПР и доступна для интерпретации. Цель применения Data Mining состоит в выявлении скрытых правил и закономерностей в наборе данных.

Data Mining ещё называют – Discovery driven Data Mining. Работает как правило с многомерными данными с целью автоматического поиска шаблонов паттернов. В отличии от олап технологий которые также могут рассматриваться как технология поддержки принятия решений в Data Mining формулировки гипотез выявления необычных шаблонов выявление необычных шаблонов переложено на компьютер. На первый взгляд  в постановке задач Data Mining нет ничего нового, такие задачи как поиск имперических закономерностей, эвристический поиск в сложных средах, индуктивный вывод решались и раньше, однако в связи с развитием технологий записи и хранения данных информационных потоки приобрели огромные объемы и без соответствующих технологий эта информация представляет собой информационные залежи. Сфера применения Data Mining. Эффективность данной технологии может достигать 1000%. Проект в 20 млн. $ окупился за 4 года. Сфера применения:  Розничная и оптовая торговля. Задачи, которые может решать:

1. анализ покупательской корзины (анализ сходства) предназначен для выявления товаров которые покупатели стремятся покупать вместе.
2. Исследование временных шаблонов. Ответ на вопросы типа: если сегодня покупатель приобрел видеокамеру то, через какое время он купит батарейку или плёнку.
3. Создание прогнозирующей модели
4. Банковское дело – выявление шаблонов поведения мошенников. Сегментация клиентов.
5. Телекоммуникации – анализ закономерности записи и подробные характеристики.
6. Выявление лояльности клиентов.