Практикум. Система анкетирования и исследования клиентов. Настройка интеграций

В рамках практикума необходимо реализовать загрузку данных из таблицы Excel с помощью шаблона. Данные должны загружаться в реестры типов «Марка автомобиля», «Категория прав» и «Тип кузова автомобиля».

Также необходимо реализовать загрузку данных из таблицы Excel с помощью модуля ETL. Данные должны загружать в реестры типов «Категория должности», «Тип деятельности» и «Критерии выбора автомобиля».

Для реализации такого функционала необходимо создать интеграцию ETL и настроить схему процесса.

Также для удобства пользователя необходимо реализовать отображение кнопок в реестрах типов объектов–справочников для запуска процесса интеграции через шаблон.

В реестре типа объектов «Справочник» необходимо реализовать отображение кнопки для запуска процесса интеграции через ETL.

Все необходимые материалы приложены к практикуму.

Перед настройкой модуля «Настройка интеграций» необходимо предварительно реализовать настройки, описанные в главах:

Создание индексов и ключей для справочников

Во избежание дублирования данных и для реализации сопоставления загружаемых данных и текущих записей в реестрах справочников, необходимо создать индекс.

Индекс – набор атрибутов (столбцов) сущности, который однозначно идентифицирует экземпляр.

После настройки индекса в процессе поиска нужной записи в справочниках сначала найдет требуемое значение по индексу, а затем будет обрабатывать информацию по остальным атрибутам типа объектов.

Чтобы создать индекс для всех справочников сразу, необходимо настроить его на объекте-родителе. Создайте индекс для типа объектов «Справочник». Для этого на стартовой странице на виджете «Типы объектов» найдите его с помощью поиска и откройте его для настройки.

В настройках типа объектов перейдите на вкладку «Индексы». Создайте новый индекс с помощью кнопки создания. В модальном окне заполните поля: Наименование – «Индекс по наименованию», Атрибуты – «Наименование».

Сохраните настройки типа объектов с помощью кнопки сохранения на панели управления.

Аналогично созданию индекса, в настройках типа объектов на вкладки / создайте новый ключ «Ключ по наименованию» с атрибутом «Наименование». Сохраните настройки типа объектов.

Сохраните настройки типа объектов с помощью кнопки сохранения на панели управления.

Настройка загрузки xls файлов

Перед началом настройки на платформе, сформируйте Таблицу с экземплярами для типов объектов «Марка автомобиля», «Категория прав» и «Тип кузова автомобиля» в MS Excel или скачайте готовую (используемая в практикуме таблица «Данные для справочников» приложена к нему).

Создание шаблона

Для реализации загрузки данных из xls-файла через шаблон, необходимо создать новый шаблон в реестре типа объектов «Шаблон загрузки xls-файлов для типов объектов». Для этого перейдите в пункт меню «Администрирование» - «Управление объектами» - «Реестр объектов».

На панели управления выберите тип объектов «Шаблон загрузки xls-файлов для типов объектов», после чего в списке объектов будут отображаться экземпляры только этого типа. Создайте новый объект с помощью кнопки .

Заполните поле «Наименование» - значение «Шаблон для загрузки марки автомобиля». Сохраните шаблон с помощью кнопки сохранения на панели управления.

В поле «Параметры объекта» создайте новый параметр: в модальном окне выберите тип «Параметры объекта».

Параметр должен связывать тип объектов «Марка автомобиля» и получаемые данные. Для этого заполните поля следующим образом:

Наименование – «Связь с маркой автомобиля»;
Идентификатор – «PARAM_BRAND»;
Тип значения параметра – «Объект»;
Тип объекта – «Марка автомобиля».

В группе ниже «Видимость и автозаполнение параметра» в поле «Значение по-умолчанию (Алгоритм)» добавьте новый алгоритм, для этого раскройте панель дополнительных действий и выберите команду «Добавить».

В модальном окне выберите тип «Алгоритм. Карточки объектов».

Создайте алгоритм «Вернуть код марка автомобиля» [ID_AUTO_BRAND_ALG], в качестве базового типа объектов выберите «Марка автомобиля». Данный алгоритм будет возвращать значение кода объекта в справочнике, чтобы сравнить его с объектами полученным из загружаемого файла.

Заполните поле формулы алгоритма атрибутом «Код»: воспользуйтесь функцией «attr» из группы «Источники» и в модальном окне из списка атрибутов выберите «Код».

Сохраните настройки алгоритма с помощью кнопки «Ок». В окне настроек параметра объекта поле «Значение по-умолчанию (Алгоритм)» будет заполнено автоматически созданным алгоритмом. Сохраните параметр с помощью кнопки «Ок». Сохраните шаблон с помощью кнопки сохранения на панели управления.

Настройка шаблона

Далее необходимо настроить шаблон, для этого нажмите на кнопку «Редактор excel шаблона» на панели управления.

В редакторе шаблона необходимо загрузить существующий файл с наполнением, структура которого будет использоваться в дальнейшем. Для этого раскройте список действий, выберите в нем «Выбрать новый файл» и загрузите шаблон.

В результате вы увидите шаблон файла в правой части редактора.

Далее необходимо разделить шаблон на разные разделы для загрузки. Для этого выберите тип объектов, атрибуты которого будут заполняться значениями из шаблона — раскройте список, укажите тип «Марка автомобиля» и добавьте его с помощью кнопки «Добавить».

После этого появится раздел для настройки связи атрибутов и ячеек шаблона. Для создания связи необходимо выбрать ячейку в шаблоне и привязать с помощью кнопки привязки в соответствующем разделе.

Выберите вариант определения начала раздела: в поле «Поиск по» установите значение «Значению в направлении загрузки», для создания экземпляров, данные в шаблоне для которых располагаются по вертикали ниже выбранной ячейки.

Выберите вариант определения конца раздела: установите значение «Первая пустая ячейка» и свяжите с первой пустой ячейкой первого столбца шаблона.

Снимите флаг «Пропускать пустые строки/столбцы». Ниже в группе «Сопоставление записей» заполните поле значением «Обновление», для реализации обновления существующих экземпляров и создания новых, а также укажите индекс для сопоставления объектов и выберите «Индекс по наименованию».

Ниже расположены группы для настройки атрибутов. Настройте атрибут Наименование: создайте связь с ячейкой наименования столбца «Марка автомобиля».

Сохраните настройки шаблона с помощью кнопки в группе настройки наименования шаблона.

Создайте аналогичные шаблоны шаблонов «Шаблон для загрузки категорий прав» и «Шаблон для загрузки типа кузова автомобиля» для загрузки данных в справочники «Категория прав» и «Тип кузова автомобиля» соответственно.

Запуск загрузки из шаблона

Запуск загрузки данных из шаблона реализуется в настройках шаблона. Раскройте панель действий с помощью кнопки в группе настройки наименования шаблона. Для загрузки данных из текущего файла необходимо выбрать «Загрузить объекты», для нового файла той же структуры – «Загрузить объекты из нового файла».

В результате успешного выполнения загрузки данных в справочник, система отобразит всплывающую информационную панель с информацией о том, что объекты успешно загружены.

Настройка ETL

Перед началом настройки на платформе, сформируйте Таблицу с экземплярами типов «Категория должности», «Тип деятельности» и «Критерии выбора автомобиля» в MS Excel или скачайте готовую (используемая в практикуме таблица приложена к нему).

Создание объекта ETL

Объект ETL – главная сущность ETL-процесса, содержащая в себе основные атрибуты процесса и схему выполнения. Для его создания необходимо открыть реестр объектов ETL: перейдите в пункт главного меню «Интеграция» – «ETL».

В реестре создайте новый объект с помощью кнопки создания на панели управления. Заполните поля: Наименование – «Загрузка данных в справочники», Идентификатор – LOAD_DICT_INSTANCES. Сохраните объект с помощью кнопки сохранения на панели управления.

На вкладке «Управление параметрами запуска ETL» в качестве типа стартового объекта можно указать дочерний типа «ETL. Экземпляр объекта ETL», в котором будет храниться информация о текущем процессе, логи запроса. Если оставить это поле пустым, то данные будут автоматически сохраняться в реестре типа объектов «ETL. Экземпляр объекта ETL». Чтобы открыть его реестр, необходимо к главном меню перейти в пункт «Интеграция» – «Протокол запуска ETL».

Во вкладке «Управление логированием» можно настроить уровень логирования:

информация по этапам – отображение ошибок (в случае их возникновения) и данных о прохождении этапов процесса.
отладочная информация – отображение ошибок (в случае их возникновения), данных о прохождении этапов процесса (включая действия и результат);
полный лог – отображение полного лога процесса ETL. Рекомендовано при настройке процесса;
только ошибки – отображение ошибок процесса ETL (в случае их возникновения).

Заполните поле «Уровень логирования в лог экземпляра» - «Полный лог», а также в поле «Записывать в протокол результирующие структуры данных этапов» - «Да».

Также можно оставить комментарий с описанием входных данных и результата интеграции.

Сохраните настройки объекта ETL с помощью кнопки на панели управления.

Создание схемы ETL

Схема ETL определяет ход процесса ETL.

Перейдите к настройке схемы с помощью кнопки «Схема ETL», расположенной на панели управления.

Cоздание схемы процесса ETL осуществляется на рабочей области посредством перетаскивания необходимых элементов с панели и установления между ними связи.

Создайте следующую схему:

Наименования элементов задаются на самой схеме процесса ETL после двойного клика по нему.

Добавьте наименование для каждого этапа.

Настройте типы элементов, выбрав необходимые в списке панели действий этапа.

Для этапа «Загрузка файла с данными справочников» выберите тип Источник. Файл. Для остальных этапов - Приемник. Внутренний.

Аналогично этапам измените тип обоих шлюзов на «Parallel Gateway» - таким образом этапы внутри шлюзов будут выполняться одновременно.

Сохраните настройки схемы ETL с помощью кнопки на рабочей области.

Настройка этапа «Загрузка файла с данными справочников»

Перейдите к настройке этапа «Загрузка файла с данными справочников», выбрав соответствующее действие на панели действий элемента.

На этом этапе данные файла принимаются и распределяются согласно заданной структуре.

В настройках этапа на вкладке «Параметры источника» заполните поле «Расширение файла» и выберите значение из списка «XLS», для реализации загрузки файла в соответствующем формате.

Заполните появившееся поля следующим образом:

Заполнять отсутствующие элементы пустыми значениями – «Нет»;
Файл содержит заголовки – «Нет»;
Номер первой строки с данными – «1»;
Номер первого столбца с данными – «1»;
Листы книги для загрузки – «2»;
Пропускать пустые строки – «Да».

На вкладке «Описание структуры» в поле «Формат описания структуры данных» выберите значение «XML». В поле «WSDL/JSON» введите следующую структуру:

<job_cat>aaa</job_cat>
<occup>aaa</occup>
<auto>aaa</auto>

Сохраните настройки этапа с помощью кнопки сохранения на панели управления и вернитесь к схеме.

Настройка этапа «Сохранение данных в реестр»

Перейдите к настройке этапа «Сохранение данных в реестр категорий должности», выбрав соответствующее действие на панели действий элемента.

На этом этапе преобразованные данные сохраняются в качестве экземпляров в типе объектов «Категория должности».

Укажите в качестве базового типа объектов «Категория должности», а также снимите флаги «Отобразить результаты ETL без сохранения» и «Очистить лог при успешном выполнении этапа».

Далее требуется связать коллекции с атрибутами типа объекта Для того чтобы указать данные какой коллекции в какой атрибут должны быть сохранены. Для этого необходимо сначала выбрать необходимую коллекцию слева, затем атрибут справа и нажать на кнопку «Связать».

Слева раскройте структуру данных и свяжите коллекцию «job_cat» и атрибут «Наименование».

После настройки связей необходимо создать новый объект в поле «Настройка связей типов». Создайте новый объект.

Создайте настройку связи, заполните поля следующим образом:

Базовый тип объекта – «Категория должности»;
Тип связи приемника – «Альтернативный ключ» (для осуществления связи по созданному ключу);
Альтернативный ключ – «Ключ по наименованию».

Сохраните текущий этап с помощью кнопки сохранения на панели управления.

Аналогично настройте остальные этапы:

Сохранение данных в реестр Тип деятельности:
- Базовый тип объектов – Тип деятельности;
- Связь коллекции «occup» и атрибута «Наименование»;
- Настройка связей типов: Базовый тип объектов – Тип деятельности, Альтернативный ключ – Ключ по наименованию.
Сохранение данных в реестр Критерии:
- Базовый тип объектов – Критерии выбора автомобиля;
- Связь коллекции «auto» и атрибута «Наименование»;
- Настройка связей типов: Базовый тип объектов – Критерии выбора автомобиля, Альтернативный ключ – Ключ по наименованию.

Сохраните этапы с помощью кнопки сохранения на панели управления. Сохраните схему ETL.

Запуск ETL

Запуск ETL можно осуществлять несколькими способами:

В реестре объектов ETL;

В настройках конкретного объекта ETL;

После нажатия на кнопку появится модальное окно, в котором необходимо выбрать файл с устройства с помощью соответствующей кнопки.

После выбора файла его название отобразится в модальном окне. Запуск процесса интеграции реализуется с помощью кнопки «Запустить». По окончанию процесса модальное окно закроется, после чего необходимо обновить реестр с помощью кнопки обновления на панели управления. Реестр наполнится новыми записями.

Загрузка данных в реестрах справочников

Настройка кнопки для загрузки данных из шаблона

В реестре типа объектов «Марка автомобиля» создайте кнопку для реализации загрузки объектов из файла. Для реализации функционала необходимо создать действие, а затем связать его с необходимым реестром.

Для настройки кнопки загрузки данных перейдите к реестру типа «Действия» с помощью главного меню: «Администрирование» - «Управление объектами» - «Действия над объектами».

Создайте новый экземпляр «Загрузить марки автомобилей» [LOAD_BRAND_ACTION], Модуль пользовательского интерфейса – «Загрузка локальных объектов из Excel».

В группе «Дополнительные параметры действия» с помощью кнопки «Создать» настройте параметры действия: укажите родительский шаблон «Шаблон для загрузки марки автомобиля». Поле с наименованием можно оставить – система автоматически сформирует его при сохранении. Сохраните параметры с помощью кнопки «Ок».

В разделе «Область видимости» в поле «Отображать в реестре» установите значение «Да», в остальных полях раздела – «Нет».

В разделе «Связанные типы объектов» создайте новый экземпляр связи «Марка автомобиля», укажите Связь с типом объекта – Марка автомобиля.

Сохраните настройки действия.

Аналогично создайте действия для шаблонов «Шаблон для загрузки категорий прав» и «Шаблон для загрузки типа кузова автомобиля».

Перейдите в реестр типа объектов «Марка автомобиля», для этого через виджет «Типы объектов» перейдите к настройкам типа объектов «Марка автомобиля» и воспользуйтесь кнопкой «Открыть реестр» на панели управления. В реестре автоматически появится кнопка для загрузки данных в справочник.

Создайте пустой объект и сохраните его – Система заполнит наименование автоматически. После этого выберете его в списке в реестре и нажмите на кнопку «Загрузить марки автомобилей».

В появившемся модальном окне загрузите файл с помощью кнопки «Выбрать файл». Чтобы начать загрузку нажмите на кнопку «Начать загрузку».

Если настройки были корректны, система оповестит о том, что объекты успешно загружены.

После этого закройте модальное окно загрузки и обновите реестр с помощью кнопки на панели управления. После этого вы можете удалить пустой объект. При необходимости дополнительной загрузки других данных, можно выбрать любой объект из реестра.

Настройка кнопки запуска ETL

В реестре типа объектов «Справочник» создайте кнопку для реализации загрузки объектов из файла через запуск ETL.

Перейдите в реестр действий и создайте новое действие «Загрузить данные справочников» [LOAD_DICTS_OBJECTS], в поле «Модуль пользовательского интерфейса» выберите «Выполнить ETL по файлам». Сохраните настройки действия с помощью кнопки сохранения на панели управления.

В группе «Дополнительные параметры действия» с помощью кнопки «Редактировать» настройте параметры действия. В модальном окне заполните поле наименования, в поле «ETL для запуска» выберите из списка «Загрузка данных в справочники». Активируйте переключатель «Закрыть модальное окно после окончания работы ETL». Сохраните настройки параметров действия.

Для того чтобы кнопка появилась в реестре типа объектов «Справочник», необходимо настроить связанные типы объектов. Добавьте новый объект связи с типом объектов.

В модальном окне в поле «Связать с типом объекта» выберите из списка «Справочник», поле «Наименование» заполнять необязательно – система заполнит его сама автоматически. Сохраните настроенную связь с помощью кнопки «Ок».

Сохранить настройки действия.

После настройки кнопка отобразится в реестре типа объектов «Справочник».