Ведущий дата-инженер

Mediascope – исследовательская компания, которая работает на стыке медиа и ИТ. Более 25 лет мы анализируем аудиторию телевидения, интернета, радио и прессы, создаем уникальные аналитические продукты, которыми пользуются более 1000 российских медиа, рекламных компаний и рекламодателей. Наша задача – создавать и поддерживать индустриальные стандарты работы с данными на рынке медиа и рекламы, а также развивать медиаисследования в России.

Мы стремимся сохранять высокий темп развития компании и хотим, чтобы качество наших продуктов и нашей работы продолжало расти. Сейчас мы расширяем ИТ-команду в секторе сопровождения и эксплуатации и ищем нового коллегу на позицию Ведущий дата-инженер в группу мониторинга платформы данных. О команде

Группа мониторинга платформы данных следит за корректностью и своевременностью отработки ETL-pipelin'ов обработки данных для отправки клиентам. Команда фиксирует отклонения от штатного процесса, локализует и дает первичную аналитику проблемы, информирует заинтересованные подразделения и далее занимается восстановлением корректных данных в случае подтвердившегося нарушения процесса. Команда группы также сопровождает запуск новых проектов в PROD-среде и способствуют оформлению финальных договоренностей по SLA для нового проекта.

Стек технологий, с которыми работаем: Hadoop, Airflow, Spark SQL, Python.

Чем предстоит заниматься

1. Анализ по контрольным точкам процесса поступления, обработки и отправки данных в случае отклонений (анализ логов работы приложений, отбрасываемых метрик в БД, проверка структуры и состава производимых паркетов);
2. Составление цепочки восстановления дневного производства на основе зависимостей работы ETL-pipelin’ов и особенностей архитектуры их работы, работа с ветвистой таблицей метаданных по взаимосвязям запускаемых линий;
3. Консультирование коллег по вопросам восстановления производства, курирование восстановления;
4. Фиксирование разработанного порядка восстановления в инструкциях, техническое писательство;
5. Сопровождение релизов в платформе: оценка влияния изменений на PROD-производство, составление плана внедрения сложных релизов;
6. Инцидент-менеджмент: помощь в оформлении инцидентов, курирование решения вопросов, отслеживание наполняемости и заполненности;
7. Первичная интерпретация значимости отклонений в проверках входных и производных данных и коммуникация по результатам с бизнес-аналитиками.

Что для этого потребуется

1. Уверенное знание SQL;
2. Опыт работы с реляционными Базами Данных;
3. Навык анализа технической документации;
4. Знание на уверенном базовом уровне хотя бы одного языка программирования, желательно python или scala;
5. Опыт работы в linux-консоли;
6. Коммуникабельность, готовность общаться с коллегами по возникшим вопросам;
7. Навык и желание подробно описывать найденные зависимости в производстве и принятые решения;
8. Интерес к приобретению и развитию аналитических компетенций, в том числе в системной аналитике;
9. Готовность в случае необходимости подключаться во внерабочее время (компенсируется дополнительными выходными).

Будет плюсом

1. Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;
2. Опыт работы или интерес к сфере Качества данных/Data Quality;
3. Интерес к техническому писательству;
4. Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;
5. Опыт работы в области социологических исследований.

Мы предлагаем

1. Возможность выбирать комфортный формат работы – офис, удаленка или гибрид, гибкое начало рабочего дня;
2. Конкурентную белую зарплату;
3. Официальное оформление, гарантию соблюдения трудового кодекса РФ, стабильную выплату заработной платы;
4. Расширенную медицинскую страховку (включая стоматологию).

Работа в Mediascope – это

1. Сложные и нестандартные задачи. Погружайтесь в работу с данными в индустриях, где происходит все самое интересное: Медиа, Реклама, Web, Mobile.
2. Современные технологии и эффективные подходы к работе. Применяйте актуальные инструменты для успешной работы.
3. Непрерывное развитие. Получайте новые знания на профильных конференциях, обменивайтесь опытом с коллегами-экспертами и участвуйте в еженедельных образовательных митапах компании.
4. Профессиональные и открытые коллеги. Работайте в команде сильных специалистов, основа которой - открытость, человечность, доверие, экологичность общения.

Откликайтесь, обсудим все детали вакансии!