ETL разработчик

Команда «Управленческая отчетность и Бизнес-планирование» отвечает за несколько основных направлений:

- управленческая отчетность по корп. взысканию (формирование «чистых» витрин данных, расчет всех финансовых показателей)

- бизнес-планирование (все основные фин. показатели + P&L, поскольку ДРПА – профит-центр)

- подготовка материалов на Правление и КО в рамках защит бизнес-планов

- визуализация аналитических материалов в BI-системе (разработка mashup-ов/dashboard-ов).

В связи с общебанковской миграцией L2P и уходом вендоров стоит амбициозная задача – текущее аналитическое решение мигрировать (etl – в сторону КАП, свои витрины (свою логическую обработку) – замена стека с SAS на PG SE). Задача очень сложная, но по масштабам интересная, как и люди в нашей команде.

Обязанности:

• разработка прототипов витрин данных в ПКАП ЛД (Hue,Hive, Spark)

• компиляция разработанных в Jupiter скриптов/перевод их на Scala для вывода в ПРОМ

• вывод витрин в ПРОМ ПКАП ВД с оформлением и прохождением всех этапов процесса по Devops

• установка скриптов на расписание средствами CTL, оформление ЗНО

• мониторинг потоков в ПКАП ВД, проверка итоговых витрин

• проводить системное, функциональное и интеграционное тестирование

• разрабатывать и внедрять эффективные методики контроля качества данных

• оптимизация разработки скриптов.

Требования:

• большой опыт работы в HPSM (создание ЗНО, ЗНИ, ЗНР, Инциденты и тд) + Jira + Confluence

• опыт работы в контуре КАП (DME функционал) – опыт вывода витрин в ПРОМ (Scala, BitBacket, Jenkins, релизный процесс)

• знание экосистемы Hadoop: Hive, Spark

• знание средств CTL (постановка на расписание)

• опыт разработки на Spark (RDD, Dataframe, Spark SQL)

• проектирование и разработка потоков данных, алгоритмов загрузки и обработки данных в Hadoop;

• выстраивание и оптимизация производительности ETL-потоков

• наличие развитых аналитических способностей и системное мышление

• знание экосистемы Hadoop: Hive, Spark

• наличие опыта разработки на Python / разработки на Spark (желательно pySpark)

• общий стаж работы не менее 5 лет

• непреодолимая тяга к обучению и саморазвитию

• высшее техническое образование.

Преимуществом будет:

• если вы участвовали в построении DEVOPS-трубы (настройка BitBacket, Nexus, Jenkins)

• опыт разработки на Scala и если вы участвовали в релизном процессе вывода витрин в ПРОМ.

Что мы предлагаем:

• современный IT-офис вблизи Москва-Сити в пяти минутах от метро "Кутузовская", с фитнес залом и бесплатным подземным паркингом

• стабильную белую заработную плату и годовую премию

• заряженную команду профессионалов и адекватное руководство

• важные и амбициозные задачи

• бесплатное обучение в лучшем корпоративном университете

• льготные условия по ипотеке

• скидки и бонусы от партнеров Сбера

• ДМС с первого рабочего дня с возможностью прикрепления родственников к программе

• сплоченный коллектив, работающий над общими задачами и умеющий хорошо отдыхать.