Анализ данных и прогнозирование. Анализ данных и прогнозирование Использование механизма анализа данных в прикладных решениях

Механизм представляется совокупностью объектов встроенного языка 1С:Предприятие. Схема взаимодействия основных объектов механизма показана на рисунке. Настройка колонок анализа данных – совокупность настроек входных колонок анализа данных. Для каждой колонки указывается тип данных, содержащихся в ней, роль выполняемая колонкой, дополнительные настройки, зависящие от типа производимого анализа. Параметры анализа данных – набор параметров производимого анализа данных. Состав параметров зависит от типа анализа. Например, для кластерного анализа указывается количество кластеров, на которые необходимо разбить исходные объекты, тип измерения расстояния между объектами и т.п. Исходные данные – источник данных для анализа. В качестве источника данных может выступать результат запроса, область ячеек табличного документа, таблица значений. Анализатор – объект, непосредственно выполняющий анализ данных. Объекту устанавливается источник данных, задаются параметры. Результатом работы данного объекта является результат анализа данных, тип которого зависит от типа анализа. Результат анализа данных – специальный объект, содержащий информацию о результате анализа. Для каждого вида анализа предусмотрен свой результат. Например, результатом анализа данных – дерево решения будет объект типа РезультатАнализаДанныхДеревоРешений. В дальнейшем результат может быть выведен в табличный документ при помощи построителя отчета анализа данных, может быть выведен посредством программного доступа к его содержимому, может быть использован для создания модели прогноза. Любой результат анализа данных может быть сохранен для последующего использования. Модель прогноза – специальный объект, позволяющий выполнять прогноз на основании входных данных. Тип модели зависит от типа анализа данных. Например, модель, созданная для анализа данных – поиск ассоциаций будет иметь тип МодельПрогнозаПоискаАссоциаций. На вход модели прогноза передается источник данных для прогноза. Результатом является таблица значений, содержащая прогнозируемые значения. Выборка для прогноза – таблица значений, результат запроса или область табличного документа, содержащая информацию, по которой необходимо построить прогноз. Например, для модели прогноза – поиск ассоциаций, выборка может содержать перечень продуктов документа продажи. Результат же работы модели может рекомендовать, какие товары можно еще предложить покупателю. Настройка колонок выборки – набор специальных объектов, показывающих соответствие между колонками модели прогноза и колонками выборки прогноза. Настройка колонок результата - позволяет управлять тем, какие колонки будут помещены в результирующую таблицу модели прогноза. Результат работы модели – таблица значений, состоящая из колонок, как указано в настройках результирующих колонок и содержащая прогнозируемые данных. Конкретное содержимое определяется типом анализа. Построитель отчета анализа данных – объект, позволяющий выводить отчет о результате анализа данных. Кроме того, построитель отчета предоставляет специальные объект для связи с данными, с тем, чтобы позволить пользователю интерактивно управлять параметрами анализа, настройкой колонок источника данных, настроек колонок модели прогноза и т.п. Типы анализа Механизм позволяет выполнять следующие виды анализа:
  • Общая статистика
  • Поиск ассоциаций
  • Поиск последовательностей
  • Дерево решений
  • Кластерный анализ
Механизм анализа данных в 1С 8.2 и 8.3 упрощает работу разработчика по части выявления закономерностей на основании различных данных. Например, с помощью этого механизма можно отобразить товары, которые чаще всего покупаются вместе. Другой пример – построение прогноза по продажам на основании данных прошлого периода. Это далеко не весь спектр применения механизма анализа данных в 1С, углубимся в его возможности подробнее. Основные объекты механизма анализа данных в 1С Этот механизм представлен в системе 1С Предприятие 3 объектами системы:
  • Анализ данных – объект выполняющий анализ данных. Для него необходимо задать источник данных и необходимые параметры для анализа.
  • Результат анализа данных – объект, являющийся результатом работы анализа данных.
  • Модель прогноза – создается на основании результата анализа данных. Объект является конечным звеном в механизме анализа 1С и генерирует таблицу значений, которая содержит прогнозируемые значения.
Типы анализа данных 1С 8.3 Система 1С Предприятие может использовать разные типы анализа, рассмотрим их подробнее.
  1. Общая статистика – этот тип анализа представляет собой простую статистическую выборку из источника данных. Пример применения – анализ продаж по номенклатуре за период. Результатом анализа станет информация о том, сколько было продано того или иного товара. Так же система рассчитает специфические поля – максимум, минимум, медиана, среднее, размах, стандартное отклонение, количество значений, количество уникальных значений, мода.
  2. Поиск ассоциаций – тип анализа предназначен для поиска часто встречающихся вместе комбинаций. Очень хорошо подходит для нахождения часто покупаемой вместе номенклатуры. В результате анализа система сгенерирует следующую информацию: информацию об обработанных данных, ассоциативные группы, ассоциативные правила по которым сопоставлены группы.
  3. Поиск последовательностей – анализ позволяющий выявить закономерности в анализируемых данных и предложить дальнейших прогноз. В результате выполнения анализа система отобразит информацию о возможности возникновения тех или иных событий в процентном выражении.

Механизм анализа данных и прогнозирования - это один из механизмов формирования экономической и аналитической отчетности . Он предоставляет пользователям (экономистам, аналитикам и т.д.) возможность осуществлять поиск неочевидных закономерностей в данных, накопленных в информационной базе. Этот механизм позволяет:

  • осуществлять поиск закономерностей в исходных данных информационной базы;
  • управлять параметрами выполняемого анализа как программно, так и интерактивно;
  • осуществлять программный доступ к результату анализа;
  • автоматически выводить результат анализа в табличный документ;
  • создавать модели прогноза, позволяющие автоматически прогнозировать последующие события или значения неких характеристик новых объектов.

Механизм анализа данных представляет собой набор взаимодействующих друг с другом объектов встроенного языка, что позволяет разработчику использовать его составные части в произвольной комбинации в любом прикладном решении. Встроенные объекты позволяют легко организовать интерактивную настройку параметров анализа пользователем, а также позволяют выводить результат анализа в удобной для отображения форме в табличный документ.

Механизм позволяет работать как с данными, полученными из информационной базы, так и с данными, полученными из внешнего источника, предварительно загруженными в таблицу значений или табличный документ:

Применяя к исходным данным один из видов анализа, можно получить результат анализа. Результат анализа представляет собой некую модель поведения данных. Результат анализа может быть отображен в итоговом документе, или сохранен для дальнейшего использования.

Дальнейшее использование результата анализа заключается в том, что на его основе может быть создана модель прогноза, позволяющая прогнозировать поведение новых данных в соответствии с имеющейся моделью.

Например, можно проанализировать, какие товары приобретаются вместе (в одной накладной) и сохранить этот результат анализа в базе данных. В дальнейшем, при создании очередной накладной на основании сохраненного результата анализа можно построить модель прогноза, подать ей "на вход" новые данные, содержащиеся в этой накладной, и "на выходе" получить прогноз, - список товаров, которые контрагент Петров Б.С. тоже, скорее всего, приобретет, если их ему предложить:

В механизме анализа данных и прогнозирования реализовано несколько типов анализа данных:

Реализованные типы анализа

Общая статистика

Представляет собой механизм для сбора информации о данных, находящихся в исследуемой выборке. Этот тип анализа предназначен для предварительного исследования анализируемого источника данных.

Анализ показывает ряд характеристик непрерывных и дискретных полей. Непрерывные поля содержат такие типы как Число , Дата . Для остальных типов используются дискретные поля.При выводе отчета в табличный документ заполняются круговые диаграммы для отображения состава полей.

Поиск ассоциаций

Данный тип анализа осуществляет поиск часто встречаемых вместе групп объектов или значений характеристик, а также производит поиск правил ассоциаций. Поиск ассоциаций может использоваться, например, для определения часто приобретаемых вместе товаров, или услуг:

Этот тип анализа может работать с иерархическими данными, что позволяет, например, находить правила не только для конкретных товаров, но и для их групп. Важной особенностью этого типа анализа является возможность работать как с объектным источником данных, в котором каждая колонка содержит некоторую характеристику объекта, так и с событийным источником, где характеристики объекта располагаются в одной колонке.

Для облегчения восприятия результата предусмотрен механизм отсечения избыточных правил.

Поиск последовательностей

Тип анализа поиск последовательностей позволяет выявлять в источнике данных последовательные цепочки событий. Например, это может быть цепочка товаров или услуг, которые часто последовательно приобретают клиенты:

Этот тип анализа позволяет осуществлять поиск по иерархии, что дает возможность отслеживать не только последовательности конкретных событий, но и последовательности родительских групп.

Набор параметров анализа позволяет специалисту ограничивать временные расстояния между элементами искомых последовательностей, а также регулировать точность получаемых результатов.

Кластерный анализ

Кластерный анализ позволяет разделить исходный набор исследуемых объектов на группы объектов, таким образом, чтобы каждый объект был более схож с объектами из своей группы, чем с объектами других групп. Анализируя в дальнейшем полученные группы, называемые кластерами, можно определить, чем характеризуется та или иная группа, принять решение о методах работы с объектами различных групп. Например, при помощи кластерного анализа можно разделить клиентов, с которыми работает компания, на группы, для того, чтобы применять различные стратегии при работе с ними:

При помощи параметров кластерного анализа аналитик может настроить алгоритм, по которому будет производиться разбиение, а также может динамически изменять состав характеристик, учитываемых при анализе, настраивать для них весовые коэффициенты.

Результат кластеризации может быть выведен в дендрограмму - специальный объект, предназначенный для отображения последовательных связей между объектами.

Дерево решений

Тип анализа дерево решений позволяет построить иерархическую структуру классифицирующих правил, представленную в виде дерева.

Для построения дерева решений необходимо выбрать целевой атрибут, по которому будет строиться классификатор и ряд входных атрибутов, которые будут использоваться для создания правил. Целевой атрибут может содержать, например, информацию о том, перешел ли клиент к другому поставщику услуг, удачна ли была сделка, качественно ли была выполнена работа и т.д. Входными атрибутами, для примера, могут выступать возраст сотрудника, стаж его работы, материальное состояние клиента, количество сотрудников в компании и т.п.

Результат работы анализа представляется в виде дерева, каждый узел которого содержит некоторое условие. Для принятия решения, к какому классу следует отнести некий новый объект, необходимо, отвечая на вопросы в узлах, пройти цепочку от корня до листа дерева, переходя к дочерним узлам в случае утвердительного ответа и к соседнему узлу в случае отрицательного.

Набор параметров анализа позволяет регулировать точность полученного дерева:

Модели прогноза

Модели прогноза, создаваемые механизмом, представляют собой специальные объекты, которые создаются из результата анализа данных, и позволяют в дальнейшем автоматически выполнять прогноз для новых данных.

Например, модель прогноза поиска ассоциаций, построенная при анализе покупок клиентов, может быть использована при работе с осуществляющим покупку клиентом, для того, чтобы предложить ему товары, которые он с определенной степенью вероятности приобретет вместе с выбранными им товарами.

Старт и завершение бизнес-процессов

Жизненный цикл бизнес-процесса начинается с его старта. У данной точки маршрута можно определить обработчик события Перед Стартом. У данной процедуры два параметра. Первый параметр - это точка маршрута, с которой произошел вызов обработчика (у бизнес-процесса может быть несколько точек старта), второй параметр - Отказ. При записи в переменную Отказ значения Истина будет произведен отказ от старта бизнес-процесса. В обработчике события Перед стартом можно проверять условия, необходимые для старта бизнес-процесса, создавать «сопутствующие» объекты, ссылки на которые необходимо хранить в самом бизнес-процессе. При определении обработчика данного события в нем не рекомендуется реализовывать механизмы, организующие диалог с пользователем (открытие различных диалоговых форм).

Сам старт бизнес-процесса может производиться по-разному:

программный старт бизнес-процесса (из кода на встроенном языке);

интерактивный старт (нажатие на кнопку ОК формы бизнес-процесса);

старт бизнес-процесса как вложенного.

Использование механизма анализа данных и прогнозирования в 1С

Механизм анализа данных и прогнозирования позволяет реализовывать в прикладных решениях различные средства для выявления закономерностей, которые обычно скрываются за большими объемами информации.

Механизм позволяет работать как с данными, полученными из информационной базы, так и с данными, полученными из другого источника, предварительно загруженными в таблицу значений или табличный документ. Применяя к исходным данным один из видов анализа, можно получить результат анализа. Результат анализа представляет собой некую модель поведения данных. Результат анализа может быть отображен в итоговом документе или сохранен для дальнейшего использования.

Дальнейшее использование результата анализа заключается в том, что на его основе может быть создана модель прогноза, позволяющая прогнозировать поведение новых данных в соответствии с имеющейся моделью. Например, можно проанализировать, какие товары приобретаются вместе (в одной накладной), и сохранить созданную на основе данного анализа модель прогноза в базе данных.

Использование макетов текстовых документов

Текстовый документ 1С: Предприятия позволяет представлять различную информацию в виде текстов. Текстовый документ может быть прочитан из текстового файла, сохранен в текстовый файл. Он может быть размещен в форме или в макете, работа с ним возможна средствами встроенного языка. По большому счету, текстовый документ позволяет выполнять три логические группы действий: - чтение с диска и запись на диск текстовых файлов; - работа с отдельными строками текстового документа: получение, добавление, удаление, замена; - создание текстового макета и использование его для формирования результирующего текстового документа.

Помимо непосредственного формирования содержимого текстового документа, существует возможность заполнения текстовых документов на основе макетов. Макет текстового документа описывает неизменяемые части текстового документа, содержащие оформление, и поля, в которые могут быть добавлены данные. Процесс заполнения текстового документа на основе макета заключается в считывании определенных областей макета, циклическом заполнении их данными и последовательном выводе полученных частей документа в результирующий текстовый документ.

Формат макета текстового документа. Макет текстового документа представляет собой текстовый документ, в котором использованы служебные строки, начинающиеся с символа «#». После управляющего символа следуют ключевые слова, которые описывают те или иные элементы макета.

Также в макете текстового документа используются служебные символы «[» и «]», которые определяют расположение изменяемых полей макета.

Весь макет текстового документа состоит из областей. Одна область объединяет в себе несколько последовательно расположенных строк. Области должны следовать друг за другом и не могут пересекаться или включаться друг в друга. Для описания области используются ключевые слова Область и КонецОбласти. После ключевого слова Область указывается имя области.

Современные информационные технологии/3. Программное обеспечение

К.э.н. Жунусов К. М.

Костанайский государственный университет имени А. Байтурсынова

Формирование механизмов анализа и прогнозирования данных

на платформе 1С: Предприятие

В основе процесса прогнозирования лежит разработка экономического прогноза. Он представляет собой научно обоснованное суждение о возможных состояниях объекта в будущем или об альтернативных путях и сроках достижения этих состояний. Иначе говоря, это есть попытка заглянуть в будущее, предсказать его, предвидеть состояние исследуемого объекта через определенный промежуток времени.

Прогнозирование тесно связано с планированием. В научных кругах достаточно распространен афоризм: «Прогноз без плана - литературное начинание, план без прогноза - административная акция».

Общими методами, как для прогнозирования, так и для планирования являются расчетно-аналитический, экономико-статистический методы и экономико-математическое моделирование.

Механизмы анализа данных и прогнозирования в составе 1С Предприятия предоставляют пользователям (экономистам, аналитикам и т. д.) возможность осуществлять поиск неочевидных закономерностей в данных, накопленных в информационной базе, и позволяет выполнять следующие операции:

Поиск закономерностей в исходных данных информационной базы;

Управление параметрами выполняемого анализа как программно, так и интерактивно;

Программный доступ к результату анализа;

Автоматический вывод результата анализа в табличный документ;

Создание моделей прогноза, позволяющих автоматически прогнозировать последующие события или значения неких характеристик новых объектов.

Механизмы анализа данных и прогнозирования это набор взаимодействующих друг с другом объектов встроенного языка, что дает возможность разработчику использовать его составные части в произвольной комбинации в любом прикладном решении. Встроенные объекты позволяют легко организовать интерактивную настройку параметров анализа пользователем, а также выводить результат анализа в удобной для отображения форме в табличный документ, в соответствии с рисунком 1. Важно и то, что механизм может работать с данными, полученными как из информационной базы 1С, так и из внешних источников (в последнем случае - предварительно загруженными в таблицу значений или табличный документ).


Рисунок 1. Общая схема функционирования механизма анализа данных и прогнозирования интеллектуального анализа данных

Применяя к исходным данным один из типов анализа, можно получить результат, который представляет собой некую модель поведения данных. Результат анализа может быть отображен в итоговом документе или сохранен для дальнейшего использования (на его основе может быть создана модель прогноза, позволяющая прогнозировать поведение новых данных).

Одна из главных тенденций на рынке учетно-управленческих систем - это постоянное повышение спроса на применение средств аналитической обработки данных, обеспечивающих принятие обоснованных руководящих решений. Однако сегодня заказчикам уже недостаточно использования традиционных инструментов, позволяющих создавать разнообразные отчеты, сводные таблицы и диаграммы на основе заранее определенных показателей и связей, анализируемых вручную. Предприятиям все чаще нужны качественно иные средства, позволяющие автоматически искать неочевидные правила и выявлять неизвестные закономерностей, что дает возможность получать новые знания на основе накопленной компанией информации и принимать порой совсем нетривиальные решения для повышения эффективности бизнеса на основе методов интеллектуального анализа данных.

Литература:

1 Глущенко В. В. Прогнозирование. - М.: Вузовская книга, 2005.

2 Дуброва Т. А. Методологические вопросы прогнозирования производства важнейших видов промышленной продукции // Вопросы статистики. -2004. -№ 1.-С. 52-57.

3 Радченко М.Г., Хрусталева Е.Ю. Инструменты для создания тиражируемых приложений «1С:Предприятия 8.2». - М.: Издательство «1С-Паблишинг», 2011.

Механизм анализа данных и прогнозирования предоставляет пользователям (экономистам, аналитикам и т.д.) возможность осуществлять поиск неочевидных закономерностей в данных, накопленных в информационной базе. Этот механизм позволяет:

  • осуществлять поиск закономерностей в исходных данных информационной базы;
  • управлять параметрами выполняемого анализа как программно, так и интерактивно;
  • осуществлять программный доступ к результату анализа;
  • автоматически выводить результат анализа в табличный документ;
  • создавать модели прогноза, позволяющие автоматически прогнозировать последующие события или значения неких характеристик новых объектов.

Механизм анализа данных представляет собой набор взаимодействующих друг с другом объектов встроенного языка, что позволяет разработчику использовать его составные части в произвольной комбинации в любом прикладном решении. Встроенные объекты позволяют легко организовать интерактивную настройку параметров анализа пользователем, а также позволяют выводить результат анализа в удобной для отображения форме в табличный документ.

Механизм позволяет работать как с данными, полученными из информационной базы, так и с данными, полученными из внешнего источника, предварительно загруженными в таблицу значений или табличный документ:

Применяя к исходным данным один из видов анализа, можно получить результат анализа. Результат анализа представляет собой некую модель поведения данных. Результат анализа может быть отображен в итоговом документе, или сохранен для дальнейшего использования.

Дальнейшее использование результата анализа заключается в том, что на его основе может быть создана модель прогноза, позволяющая прогнозировать поведение новых данных в соответствии с имеющейся моделью.

Например, можно проанализировать, какие товары приобретаются вместе (в одной накладной) и сохранить этот результат анализа в базе данных. В дальнейшем, при создании очередной накладной:

на основании сохраненного результата анализа можно построить модель прогноза, подать ей "на вход" новые данные, содержащиеся в этой накладной, и "на выходе" получить прогноз, - список товаров, которые контрагент Петров Б.С. тоже, скорее всего, приобретет, если их ему предложить:

В механизме анализа данных и прогнозирования реализовано несколько типов анализа данных:

Реализованные типы анализа

Общая статистика

Представляет собой механизм для сбора информации о данных, находящихся в исследуемой выборке. Этот тип анализа предназначен для предварительного исследования анализируемого источника данных.

Анализ показывает ряд характеристик числовых и непрерывных полей. При выводе отчета в табличный документ заполняются круговые диаграммы для отображения состава полей.

Поиск ассоциаций

Данный тип анализа осуществляет поиск часто встречаемых вместе групп объектов или значений характеристик, а также производит поиск правил ассоциаций. Поиск ассоциаций может использоваться, например, для определения часто приобретаемых вместе товаров, или услуг:

Этот тип анализа может работать с иерархическими данными, что позволяет, например, находить правила не только для конкретных товаров, но и для их групп. Важной особенностью этого типа анализа является возможность работать как с объектным источником данных, в котором каждая колонка содержит некоторую характеристику объекта, так и с событийным источником, где характеристики объекта располагаются в одной колонке.

Для облегчения восприятия результата предусмотрен механизм отсечения избыточных правил.

Поиск последовательностей

Тип анализа поиск последовательностей позволяет выявлять в источнике данных последовательные цепочки событий. Например, это может быть цепочка товаров или услуг, которые часто последовательно приобретают клиенты:

Этот тип анализа позволяет осуществлять поиск по иерархии, что дает возможность отслеживать не только последовательности конкретных событий, но и последовательности родительских групп.

Набор параметров анализа позволяет специалисту ограничивать временные расстояния между элементами искомых последовательностей, а также регулировать точность получаемых результатов.

Кластерный анализ

Кластерный анализ позволяет разделить исходный набор исследуемых объектов на группы объектов, таким образом, чтобы каждый объект был более схож с объектами из своей группы, чем с объектами других групп. Анализируя в дальнейшем полученные группы, называемые кластерами, можно определить, чем характеризуется та или иная группа, принять решение о методах работы с объектами различных групп. Например, при помощи кластерного анализа можно разделить клиентов, с которыми работает компания, на группы, для того, чтобы применять различные стратегии при работе с ними:

При помощи параметров кластерного анализа аналитик может настроить алгоритм, по которому будет производиться разбиение, а также может динамически изменять состав характеристик, учитываемых при анализе, настраивать для них весовые коэффициенты.

Результат кластеризации может быть выведен в дендрограмму - специальный объект, предназначенный для отображения последовательных связей между объектами.

Дерево решений

Тип анализа дерево решений позволяет построить иерархическую структуру классифицирующих правил, представленную в виде дерева.

Для построения дерева решений необходимо выбрать целевой атрибут, по которому будет строиться классификатор и ряд входных атрибутов, которые будут использоваться для создания правил. Целевой атрибут может содержать, например, информацию о том, перешел ли клиент к другому поставщику услуг, удачна ли была сделка, качественно ли была выполнена работа и т.д. Входными атрибутами, для примера, могут выступать возраст сотрудника, стаж его работы, материальное состояние клиента, количество сотрудников в компании и т.п.

Результат работы анализа представляется в виде дерева, каждый узел которого содержит некоторое условие. Для принятия решения, к какому классу следует отнести некий новый объект, необходимо, отвечая на вопросы в узлах, пройти цепочку от корня до листа дерева, переходя к дочерним узлам в случае утвердительного ответа и к соседнему узлу в случае отрицательного.

Набор параметров анализа позволяет регулировать точность полученного дерева:

Модели прогноза

Модели прогноза, создаваемые механизмом, представляют собой специальные объекты, которые создаются из результата анализа данных, и позволяют в дальнейшем автоматически выполнять прогноз для новых данных.

Например, модель прогноза поиска ассоциаций, построенная при анализе покупок клиентов, может быть использована при работе с осуществляющим покупку клиентом, для того, чтобы предложить ему товары, которые он с определенной степенью вероятности приобретет вместе с выбранными им товарами.

Использование механизма анализа данных в прикладных решениях

Для ознакомления разработчиков прикладных решений с механизмом анализа данных, на диске «Информационно-технологическое сопровождение» (ИТС) размещена демонстрационная информационная база. В ее состав входит универсальная обработка "Консоль анализа данных", которая позволяет выполнять анализ данных в любом прикладном решении, без доработки конфигурации.

Поделиться