Практикум. Сервис сбора данных о погоде

Настройте интеграцию для загрузки данных о погоде, используя инструменты ETL.

Объект ETL – главная сущность ETL-процесса, содержащая в себе основные атрибуты процесса и схему выполнения. Для его создания необходимо открыть реестр объектов ETL: перейдите в пункт главного меню «Интеграция» – «ETL».

В реестре создайте новый объект с помощью кнопки создания на панели управления. Создайте новый объект ETL «ETL. Получение данных о погоде» [GETTING_WEATHER_DATA_ETL]. Сохраните объект по кнопке сохранения на панели управления.

В группе «Управление параметрами запуска ETL» в качестве типа стартового объекта можно указать дочерний типа «ETL. Экземпляр объекта ETL», в котором будет храниться информация о текущем процессе, логи запроса. Если оставить это поле пустым, то данные будут автоматически сохраняться в реестре типа объектов «ETL. Экземпляр объекта ETL». Чтобы открыть его реестр, необходимо к главном меню перейти в пункт «Интеграция» – «Протокол запуска ETL».

В группе «Управление параметрами запуска ETL» в качестве типа стартового объекта укажите «Получение данных о погоде».

В группе «Управление логированием» можно настроить уровень логирования:

В поле «Уровень логирования в лог экземпляра» измените уровень логирования на «Полный лог». Укажите «Да» в поле «Записывать в протокол результирующие структуры данных этапов».

Также можно оставить комментарий с описанием входных данных и результата интеграции.

Сохраните настройки объекта ETL.

Схема ETL определяет ход процесса ETL.

Перейдите к настройке схемы с помощью кнопки «Схема ETL», расположенной на панели управления.

Работа со схемой процесса ETL аналогична настройке схем бизнес-процессов: создание схемы процесса ETL осуществляется на рабочей области посредством перетаскивания необходимых элементов с панели и установления между ними связи.

Создайте следующую схему:

Наименования элементов задаются на самой схеме процесса ETL после двойного клика по нему. Заполните наименования для этапов.

Каждому из этапов необходимо присвоить тип. Для выбора типа необходимо нажать правой кнопкой мыши на нужный этап, далее нажать на кнопку и в появившемся списке выбрать соответствующий тип:

После добавления всех элементов на схему ETL, сохраните ее с помощью кнопки сохранения и перейдите к настройке каждого из этапов.

На первом этапе будет происходить запрос данных. Для перехода в настройки этапа необходимо нажать на кнопку . На вкладке «Основные параметры» в группе «Тип и адрес сервиса» заполните поля:

О содержании ссылки URL можно посмотреть на странице веб-сервиса https://openweathermap.org/ - там есть описание параметров, а также другие варианты URL.

У указанной ссылки URL есть два параметра: API_key – ключ, который нужен для верификации пользователя ресурса, и city_name – наименование города. Оба эти параметра обязательны к заполнению, чтобы выполнился запрос.

В поле «Описание структуры ответа» необходимо вставить структуру, в виде которой будет формироваться ответ на запрос. На странице веб-сервиса https://openweathermap.org/ для используемого URL есть готовая структура ответа.

Наполнение для поля «WSDL/JSON» вы можете найти в Приложении. Сохраните настройки этапа ETL. После этого в поле «Структура выходов источника» появится автоматически сформированная структура.

Для осуществления запроса необходимо чтобы в URL на месте параметров указывались значения пользователя. Для настройки параметров перейдите во вкладку «Параметры запроса» и создайте новый параметр запроса.

В модальном окне заполните поля: Наименование – «Наименование города», Идентификатор – {city_name}, Вид параметра – «URL». Необходимо настроить параметр таким образом, чтобы значение города, указанное пользователем, подставлялось в запрос на место {city_name}. Сохраните настройку параметра с помощью кнопки «Сохранить».

На платформе GreenData предусмотрена работа с алгоритмами.

Алгоритм – это некая последовательность вычислительных шагов, используемая для выполнения определенной задачи или преобразования данных. Все системные и созданные пользователями алгоритмы выражений хранятся в реестре алгоритмов объектов в папке «Карточки объектов», в который можно перейти с помощью главного меню: «Администрирование» - «Управление объектами» - «Алгоритмы объектов».

Также можно создать собственную папку для хранения созданных алгоритмов с помощью кнопки на верхней панели.

Добавьте новый алгоритм параметра, для этого раскройте список дополнительных действий в поле «Алгоритм» и выберите «Добавить».

Создайте новый алгоритм «Получить Город из стартового типа ETL» [GET_PARAMETER_CITY_ALG], в качестве базового типа объектов выберите «Получение данных о погоде». Алгоритм будет передавать в параметр значение города, указанного при запуске ETL.

Редактор алгоритмов содержит в себе поле для формулы и панель «Инструменты», на которой располагаются доступные функции: набор функций определяется типом алгоритма.

Заполните поле формулы алгоритма:

Чтобы повторить формулу алгоритма, на панели «Инструменты» в группе «Источники» воспользуйтесь функцией attr, которая указывает атрибут базового типа объектов алгоритма. В модальном окне раскройте список атрибутов объектного атрибута «Город» и выберите «Наименование».

Сохраните настройки алгоритма, параметра запроса и текущего этапа.

Для настройки следующего параметра и корректного хранения данных, не подвергающихся разглашению, реализован системный тип «Секретная переменная» [SYS_SECRET_VARIABLE]. Сохраните текущий объект и перейдите в реестр типа объектов (для этого вернитесь на стартовую страницу и в разделе «Типы объектов» нажмите на кнопку «Показать все»).

На открывшейся станице воспользуйтесь поиском, найдите тип «Секретная переменная» и перейдите в реестр с помощью кнопки «Открыть реестр».

В реестре добавьте новый объект «API KEY» [API_KEY], укажите «Значение» – «2480123c6b0579efb6c5c18b4f8e21ad». Указанное значение – заранее сгенерированный уникальный ключ пользователя, который имеет доступ к реализации запроса к ресурсу https://openweathermap.org/. Для того чтобы сгенерировать свой, необходимо пройти регистрацию сервиса. При реализации практикума воспользуйтесь предложенным значением ключа пользователя.

Вернитесь к настройке этапа загрузки данных схемы ETL. Аналогично предыдущему параметру создайте новый параметр запроса «Ключ API» {API_key}, вид параметра – URL.

Добавьте новый алгоритм «Получить API_KEY из секретной переменной» [GET_API_KEY_ALG]. Указывать базовый тип не нужно. После срабатывания алгоритма в тело запроса на месте {API_key} автоматически подставится указанное в секретной переменной значение.

Заполните формулу алгоритма:

Чтобы повторить формулу алгоритма, на панели «Инструменты» в группе «Дополнительные» воспользуйтесь функцией secretVariable: в появившемся модальном окне в списке выберите созданную ранее переменную API KEY.

Сохраните настройки алгоритма по кнопке «Ок».

Сохраните настройки этапа ETL.

Вернитесь к схеме ETL и перейдите к настройке этапа «Преобразование полученных данных». На вкладке «Основное» можно настроить структуру выходов элемента системы: в поле слева показаны входные данные, справа – выходные.

Чтобы в выходных данных появилась динамическая структура, необходимо выделить поле и нажать на кнопку «Добавить с сохранением иерархии». Добавьте все переменные в список выходных данных и сохраните этап.

В качестве выходных данных должна быть определена дата загрузки погоды в формате даты и времени. Для этого необходимо настроить преобразование выходных данных. Сохраните настройки этапа по кнопке сохранения на панели управления.

В поле со структурой выходных данных у поля «dt», которое отвечает за обозначение даты и времени, разорвите связь с источником, чтобы изменить тип NUMBER на дату и время.

Смените тип на DATETIME и сохраните настройки этапа.

Добавьте трансформатор по алгоритму для переменной «dt».

В появившемся окне заполните поля:

Сохраните настройки трансформатора по кнопке «Сохранить».

В поле «Алгоритм» создайте новый алгоритм типа «Алгоритм.Карточки объектов».

Создайте алгоритм «Преобразовать данные из числа в дату» [CONVERT_DATA_TO DATE_ALG], базовый тип объектов указывать не нужно. Алгоритм будет возвращать значение даты и времени запроса в указанном в алгоритме формате.

Заполните поле формулы алгоритма:

Используйте следующие функции:

Выполните следующую последовательность действий:

Сохраните алгоритм, вернитесь к настройке создания трансформатора. Сохраните настройки трансформатора, затем сохраните изменения текущего этапа.

Перейдите к настройке этапа «Сохранение полученных данных».

Создайте новый базовый тип объекта для сохранения результатов запроса. Для этого в поле «Базовый тип объектов» раскройте список дополнительных действий и выберите «Добавить».

Создайте новый тип объектов «Данные о погоде» [WEATHER_DATA], родительский тип объектов – «Объект». В нем будут сохраняться данные, полученные в результате запроса.

Чтобы все результаты запроса были сохранены, необходимо создать для каждого элемента структуры ответа на запрос (коллекции) свой атрибут. В структуре ответа находятся следующие коллекции:

Создайте новые атрибуты для типа объектов для коллекции в структуре ответа:

Сохраните настройки типа по кнопке «Ок». Вернитесь к настройке этапа ETL. В поле «Базовый тип объектов» автоматически будет выбран созданный тип «Данные о погоде».

Снимите флаги для параметров «Отобразить результаты ETL без сохранения» и «Очистить лог при успешном выполнении этапа». Прочие параметры оставьте без изменений.

Далее требуется связать коллекции с атрибутами типа объекта, для того, чтобы указать данные какой коллекции в какой атрибут должны быть сохранены. Для этого необходимо сначала выбрать необходимую коллекцию слева, затем атрибут справа и нажать на кнопку «Связать». Свяжите коллекцию «VISIBILITY» и Атрибут «Видимость».

После этого колонка «Поле из источника» автоматически заполнится значением.

Свяжите следующие атрибуты:

После настройки связей необходимо создать новый объект в поле «Настройка связей типов». Заполните поля в открывшемся окне: Базовый тип объектов – «Данные о погоде», Тип связи приёмника – «Всегда новая запись». Сохраните изменения в настройках этапа. Вернитесь к схеме ETL и сохраните ее.

Для того чтобы запустить ETL, необходимо настроить визуал и добавить на него атрибут «Город». Для этого в меню перейдите к «Интеграция» – «ETL», перейдите к объекту ETL «ETL. Получение данных о погоде» и нажмите на «Выполнить ETL». Перейдите к настройке визуала появившегося окна, нажав на соответствующую кнопку справа сверху: разместите новый ряд, группу атрибутов, установите для нее параметры представления – «Без имени» и разместите атрибут «Город» [PARAMETR_CITY]. Сохраните изменения.

Для запуска ETL выберите город из выпадающего списка, а затем нажмите на кнопку «Запустить». В результате поля объекта будут заполнены данными.

Для того, чтобы проверить как выполнилась интеграция, нужно перейти в реестр запусков через пункт меню «Интеграция» - «Протокол запуска ETL» или к реестру указанного в объекте ETL типа стартового объекта «Получение данных о погоде».

Для просмотра данных, полученных в ходе выполнения ETL, перейдите к реестру типа объектов «Данные о погоде».

Для того чтобы увидеть подробную информацию по экземплярам ETL, необходимо открыть объект двойным нажатием на него.

Для просмотра данных, полученных в ходе выполнения ETL, перейдите к реестру типа объектов «Данные о погоде». Для того, чтобы увидеть подробную информацию по содержанию объекта, необходимо открыть его.

В экземпляре запуска интеграции отображается ETL и объект, по которому он был запущен, а также информация о признаке активности и ошибках при выполнении. В логе отображается выполнение этапа и ошибки, возникающие во время выполнения.

Система позволяет настроить запуск ETL по расписанию.

Перейдите в «Администрирование» - «Настройки» - «Расписание запуска действий». Для создания расписания запуска ETL необходимо создать новый объект.

Заполните поля:

В поле «Объект ETL» укажите «ETL. Получение данных о погоде» и добавьте новый алгоритм, раскрыв список дополнительных действий и выбрав «Добавить».

Создайте алгоритм «Алгоритм автозаполнения параметров» [AUTO_FUL_ALG], укажите Базовый тип объектов – «Получение данных о погоде».

Алгоритм будет самостоятельно возвращать значение города Москва и передавать его для реализации запроса.

Заполните формулу алгоритма:

Воспользуйтесь следующими функциями:

Выполните следующую последовательность действий:

1. В группе «Источники» воспользуйтесь функцией attr: в модальном окне установите флаг на «Установить значение» и выберите атрибут «Город»;

2. В качестве второго параметра функции необходимо указать подставляемое значение. Для этого очистите второй параметр с помощью клавиатуры и в этой же группе воспользуйтесь функцией dict. В модальном окне выберите тип объектов «Населенный пункт» и в качестве значения справочника – «Москва».

Сохраните настройки алгоритма и настройки расписания.

Таким образом, каждый день в 7.00 утра будет выполняться запуск ETL, после его завершения появляться запись с данными о погоде в Москве в типе объектов «Данные о погоде».