Практикум. Система анкетирования и исследования клиентов. Настройка интеграций

В рамках практикума необходимо реализовать загрузку данных из таблицы Excel с помощью шаблона. Данные должны загружаться в реестры типов «Марка автомобиля», «Категория прав» и «Тип кузова автомобиля».

Также необходимо реализовать загрузку данных из таблицы Excel с помощью модуля ETL. Данные должны загружать в реестры типов «Категория должности», «Тип деятельности» и «Критерии выбора автомобиля».

Для реализации такого функционала необходимо создать интеграцию ETL и настроить схему процесса.

Также для удобства пользователя необходимо реализовать отображение кнопок в реестрах типов объектов–справочников для запуска процесса интеграции через шаблон.

В реестре типа объектов «Справочник» необходимо реализовать отображение кнопки для запуска процесса интеграции через ETL.

Все необходимые материалы приложены к практикуму.

Перед настройкой модуля «Настройка интеграций» необходимо предварительно реализовать настройки, описанные в главах:

Создание индексов и ключей для справочников

Во избежание дублирования данных и для реализации сопоставления загружаемых данных и текущих записей в реестрах справочников, необходимо создать индекс.

Индекс – набор атрибутов (столбцов) сущности, который однозначно идентифицирует экземпляр.

После настройки индекса в процессе поиска нужной записи в справочниках сначала найдет требуемое значение по индексу, а затем будет обрабатывать информацию по остальным атрибутам типа объектов.

Чтобы создать индекс для всех справочников сразу, необходимо настроить его на объекте-родителе. Создайте индекс для типа объектов «Справочник».

Перейдите к настройкам типа объектов «Справочник». В настройках типа объектов перейдите на вкладку «Индексы». Создайте новый индекс с помощью кнопки создания. В модальном окне заполните поля: Наименование – «Индекс по наименованию», Атрибуты – «Наименование».

Сохраните настройки типа объектов с помощью кнопки сохранения на панели управления.

Аналогично созданию индекса, в настройках типа объектов на вкладки «Ключи» создайте новый ключ «Ключ по наименованию» с атрибутом «Наименование». Сохраните настройки типа объектов.

Сохраните настройки типа объектов с помощью кнопки сохранения на панели управления.

Настройка загрузки xls файлов

Перед началом настройки на платформе, сформируйте Таблицу с экземплярами для типов объектов «Марка автомобиля», «Категория прав» и «Тип кузова автомобиля» в MS Excel или скачайте готовую (используемая в практикуме таблица «Данные для справочников» приложена к нему).

Создание шаблона

Для реализации загрузки данных из xls-файла через шаблон, необходимо создать новый шаблон в реестре типа объектов «Шаблон загрузки xls-файлов для типов объектов». Для этого перейдите в пункт меню «Администрирование» - «Управление объектами» - «Шаблон загрузки xls-файлов».

Создайте новый экземпляр шаблона в реестре.

Заполните поле «Наименование» - значение «Шаблон для загрузки марки автомобиля». Сохраните шаблон с помощью кнопки сохранения на панели управления.

В поле «Параметры объекта» создайте новый параметр: в модальном окне выберите тип «Параметры объекта».

Параметр должен связывать тип объектов «Марка автомобиля» и получаемые данные. Для этого заполните поля следующим образом:

Наименование – «Связь с маркой автомобиля»;
Идентификатор – «PARAM_BRAND»;
Тип значения параметра – «Объект»;
Тип объекта – «Марка автомобиля».

В группе ниже «Видимость и автозаполнение параметра» в поле «Значение по-умолчанию (Алгоритм)» добавьте новый алгоритм, для этого раскройте панель дополнительных действий и выберите команду «Добавить».

В модальном окне выберите тип «Алгоритм. Карточки объектов».

Создайте алгоритм «Вернуть код марка автомобиля», в качестве базового типа объектов выберите «Марка автомобиля». Данный алгоритм будет возвращать значение кода объекта в справочнике, чтобы сравнить его с объектами полученным из загружаемого файла.

Заполните поле формулы алгоритма атрибутом «Код»: воспользуйтесь функцией «attr» из группы «Источники» и в модальном окне из списка атрибутов выберите «Код».

Сохраните настройки алгоритма с помощью кнопки «Ок». В окне настроек параметра объекта поле «Значение по-умолчанию (Алгоритм)» будет заполнено автоматически созданным алгоритмом. Сохраните параметр с помощью кнопки «Ок». Сохраните шаблон с помощью кнопки сохранения на панели управления.

Настройка шаблона

Далее необходимо настроить шаблон, для этого нажмите на кнопку «Редактор excel шаблона» на панели управления.

В редакторе шаблона необходимо загрузить существующий файл с наполнением, структура которого будет использоваться в дальнейшем. Для этого раскройте список действий, выберите в нем «Выбрать новый файл» и загрузите шаблон.

В результате вы увидите шаблон файла в правой части редактора.

Далее необходимо разделить шаблон на разные разделы для загрузки. Для этого выберите тип объектов, атрибуты которого будут заполняться значениями из шаблона — раскройте список, укажите тип «Марка автомобиля» и добавьте его с помощью кнопки «Добавить».

После этого появится раздел для настройки связи атрибутов и ячеек шаблона. Для создания связи необходимо выбрать ячейку в шаблоне и привязать с помощью кнопки привязки в соответствующем разделе.

Выберите вариант определения начала раздела: в поле «Поиск по» установите значение «Значению в направлении загрузки», для создания экземпляров, данные в шаблоне для которых располагаются по вертикали ниже выбранной ячейки.

Выберите вариант определения конца раздела: установите значение «Первая пустая ячейка» и свяжите с первой пустой ячейкой первого столбца шаблона.

Снимите флаг «Пропускать пустые строки/столбцы». Ниже в группе «Сопоставление записей» заполните поле значением «Обновление», для реализации обновления существующих экземпляров и создания новых, а также укажите индекс для сопоставления объектов и выберите «Ключ по наименованию».

Ниже расположены группы для настройки атрибутов. Настройте атрибут Наименование: создайте связь с ячейкой наименования столбца «Марка автомобиля».

Сохраните настройки шаблона с помощью кнопки в группе настройки наименования шаблона.

Создайте аналогичные шаблоны шаблонов «Шаблон для загрузки категорий прав» и «Шаблон для загрузки типа кузова автомобиля» для загрузки данных в справочники «Категория прав» и «Тип кузова автомобиля» соответственно.

Запуск загрузки из шаблона

Запуск загрузки данных из шаблона реализуется в настройках шаблона. Раскройте панель действий с помощью кнопки в группе настройки наименования шаблона. Для загрузки данных из текущего файла необходимо выбрать «Загрузить объекты», для нового файла той же структуры – «Загрузить объекты из нового файла».

В результате успешного выполнения загрузки данных в справочник, система отобразит всплывающую информационную панель с информацией о том, что объекты успешно загружены.

Настройка ETL

Перед началом настройки на платформе, сформируйте Таблицу с экземплярами типов «Категория должности», «Тип деятельности» и «Критерии выбора автомобиля» в MS Excel или скачайте готовую (используемая в практикуме таблица приложена к нему).

Создание объекта ETL

Объект ETL – главная сущность ETL-процесса, содержащая в себе основные атрибуты процесса и схему выполнения. Для его создания необходимо открыть реестр объектов ETL: перейдите в пункт главного меню «Интеграция» – «ETL».

В реестре создайте новый объект с помощью кнопки создания на панели управления. Заполните поля: Наименование – «Загрузка данных в справочники», Идентификатор – LOAD_DICT_INSTANCES. Сохраните объект с помощью кнопки сохранения на панели управления.

На вкладке «Управление параметрами запуска ETL» в качестве типа стартового объекта можно указать дочерний типа «ETL. Экземпляр объекта ETL», в котором будет храниться информация о текущем процессе, логи запроса. Если оставить это поле пустым, то данные будут автоматически сохраняться в реестре типа объектов «ETL. Экземпляр объекта ETL». Чтобы открыть его реестр, необходимо к главном меню перейти в пункт «Интеграция» – «Протокол запуска ETL».

Во вкладке «Управление логированием» можно настроить уровень логирования:

информация по этапам – отображение ошибок (в случае их возникновения) и данных о прохождении этапов процесса.
отладочная информация – отображение ошибок (в случае их возникновения), данных о прохождении этапов процесса (включая действия и результат);
полный лог – отображение полного лога процесса ETL. Рекомендовано при настройке процесса;
только ошибки – отображение ошибок процесса ETL (в случае их возникновения).

Заполните поле «Уровень логирования в лог экземпляра» - «Полный лог», а также в поле «Записывать в протокол результирующие структуры данных этапов» - «Да».

Также можно оставить комментарий с описанием входных данных и результата интеграции.

Сохраните настройки объекта ETL с помощью кнопки на панели управления.

Создание схемы ETL

Схема ETL определяет ход процесса ETL.

Перейдите к настройке схемы с помощью кнопки «Схема ETL», расположенной на панели управления.

Cоздание схемы процесса ETL осуществляется на рабочей области посредством перетаскивания необходимых элементов с панели и установления между ними связи.

Создайте следующую схему:

Наименования элементов задаются на самой схеме процесса ETL после двойного клика по нему.

Добавьте наименование для каждого этапа.

Настройте типы элементов, выбрав необходимые в списке панели действий этапа.

Для этапа «Загрузка файла с данными справочников» выберите тип Источник. Файл. Для остальных этапов - Приемник. Внутренний.

Аналогично этапам измените тип обоих шлюзов на «Parallel Gateway» - таким образом этапы внутри шлюзов будут выполняться одновременно.

Сохраните настройки схемы ETL с помощью кнопки на рабочей области.

Настройка этапа «Загрузка файла с данными справочников»

Перейдите к настройке этапа «Загрузка файла с данными справочников», выбрав соответствующее действие на панели действий элемента.

На этом этапе данные файла принимаются и распределяются согласно заданной структуре.

В настройках этапа на вкладке «Параметры источника» заполните поле «Расширение файла» и выберите значение из списка «XLS», для реализации загрузки файла в соответствующем формате.

Заполните появившееся поля следующим образом:

Заполнять отсутствующие элементы пустыми значениями – «Нет»;
Файл содержит заголовки – «Нет»;
Номер первой строки с данными – «1»;
Номер первого столбца с данными – «1»;
Листы книги для загрузки – «2»;
Пропускать пустые строки – «Да».

На вкладке «Описание структуры» в поле «Формат описания структуры данных» выберите значение «XML». В поле «WSDL/JSON» введите следующую структуру:

<job_cat>aaa</job_cat>
<occup>aaa</occup>
<auto>aaa</auto>

Сохраните настройки этапа с помощью кнопки сохранения на панели управления и вернитесь к схеме.

Настройка этапа «Сохранение данных в реестр»

Перейдите к настройке этапа «Сохранение данных в реестр категорий должности», выбрав соответствующее действие на панели действий элемента.

На этом этапе преобразованные данные сохраняются в качестве экземпляров в типе объектов «Категория должности».

Укажите в качестве базового типа объектов «Категория должности», а также снимите флаги «Отобразить результаты ETL без сохранения» и «Очистить лог при успешном выполнении этапа».

Далее требуется связать коллекции с атрибутами типа объекта. Для того чтобы указать данные какой коллекции в какой атрибут должны быть сохранены. Для этого необходимо сначала выбрать необходимую коллекцию слева, затем атрибут справа и нажать на кнопку «Связать».

Слева раскройте структуру данных и свяжите коллекцию «job_cat» и атрибут «Наименование».

После настройки связей необходимо создать новый объект в поле «Настройка связей типов». Создайте новый объект.

Создайте настройку связи, заполните поля следующим образом:

Базовый тип объекта – «Категория должности»;
Тип связи приемника – «Альтернативный ключ» (для осуществления связи по созданному ключу);
Альтернативный ключ – «Ключ по наименованию».

Сохраните текущий этап с помощью кнопки сохранения на панели управления.

Аналогично настройте остальные этапы:

Сохранение данных в реестр Тип деятельности:
- Базовый тип объектов – Тип деятельности;
- Связь коллекции «occup» и атрибута «Наименование»;
- Настройка связей типов: Базовый тип объектов – Тип деятельности, Альтернативный ключ – Ключ по наименованию.
Сохранение данных в реестр Критерии:
- Базовый тип объектов – Критерии выбора автомобиля;
- Связь коллекции «auto» и атрибута «Наименование»;
- Настройка связей типов: Базовый тип объектов – Критерии выбора автомобиля, Альтернативный ключ – Ключ по наименованию.

Сохраните этапы с помощью кнопки сохранения на панели управления. Сохраните схему ETL.

Запуск ETL

Запуск ETL можно осуществлять несколькими способами:

В реестре объектов ETL;
В настройках конкретного объекта ETL;

После нажатия на кнопку появится модальное окно, в котором необходимо выбрать файл с устройства с помощью соответствующей кнопки.

После выбора файла его название отобразится в модальном окне. Запуск процесса интеграции реализуется с помощью кнопки «Запустить». По окончанию процесса модальное окно закроется, после чего необходимо обновить реестр с помощью кнопки обновления на панели управления. Реестр наполнится новыми записями.

Загрузка данных в реестрах справочников

Настройка кнопки для загрузки данных из шаблона

В реестре типа объектов «Марка автомобиля» создайте кнопку для реализации загрузки объектов из файла. Для реализации функционала необходимо создать действие, а затем связать его с необходимым реестром.

Для настройки кнопки загрузки данных перейдите к реестру типа «Действия» с помощью главного меню: «Администрирование» - «Управление объектами» - «Действия над объектами».

Создайте новый экземпляр «Загрузить марки автомобилей» [LOAD_BRAND_ACTION], Модуль пользовательского интерфейса – «Загрузка локальных объектов из Excel».

В группе «Дополнительные параметры действия» с помощью кнопки «Создать» настройте параметры действия: укажите родительский шаблон «Шаблон для загрузки марки автомобиля». Поле с наименованием можно оставить – система автоматически сформирует его при сохранении. Сохраните параметры с помощью кнопки «Ок».

В настройках действия в разделе «Область видимости» в поле «Отображать в реестре» установите значение «Да», в остальных полях раздела – «Нет».

В разделе «Связанные типы объектов» создайте новый экземпляр связи «Марка автомобиля», укажите Связь с типом объекта – Марка автомобиля.

Сохраните настройки действия.

Настройка прав для кнопок не требуется, если ранее были выполнены шаги из раздела Настройка прав для действия «Сохранить анкету».

Аналогично создайте действия для шаблонов «Шаблон для загрузки категорий прав» и «Шаблон для загрузки типа кузова автомобиля».

Перейдите в реестр типа объектов «Марка автомобиля». На панели управления в реестре автоматически появится кнопка для загрузки данных в справочник.

Создайте новый объект и сохраните его – Система заполнит наименование автоматически. После этого выберете его в списке в реестре и нажмите на кнопку «Загрузить марки автомобилей». В появившемся модальном окне загрузите файл с помощью кнопки «Выбрать файл». Чтобы начать загрузку нажмите на кнопку «Начать загрузку».

Если настройки были корректны, система оповестит о том, что объекты успешно загружены.

После этого закройте модальное окно загрузки и обновите реестр с помощью кнопки на панели управления. После этого вы можете удалить пустой объект. При необходимости дополнительной загрузки других данных, можно выбрать любой объект из реестра.

Настройка кнопки запуска ETL

В реестре типа объектов «Справочник» создайте кнопку для реализации загрузки объектов из файла через запуск ETL.

Перейдите в реестр действий и создайте новое действие «Загрузить данные справочников» [LOAD_DICTS_OBJECTS], в поле «Модуль пользовательского интерфейса» выберите «Выполнить ETL по файлам». Сохраните настройки действия с помощью кнопки сохранения на панели управления.

В группе «Дополнительные параметры действия» с помощью кнопки «Редактировать» настройте параметры действия. В модальном окне заполните поле наименования, в поле «ETL для запуска» выберите из списка «Загрузка данных в справочники». Активируйте переключатель «Закрыть модальное окно после окончания работы ETL». Сохраните настройки параметров действия.

В разделе «Область видимости» в поле «Отображать в реестре» установите значение «Да», в остальных полях раздела – «Нет».

Для того чтобы кнопка появилась в реестре типа объектов «Справочник», необходимо настроить связанные типы объектов. Добавьте новый объект связи с типом объектов.

В модальном окне в поле «Связать с типом объекта» выберите из списка «Справочник», поле «Наименование» заполнять необязательно – система заполнит его сама автоматически. Сохраните настроенную связь с помощью кнопки «Ок».

Сохранить настройки действия.

После настройки кнопка отобразится в реестре типа объектов «Справочник».