Data Engineer (middle, senior)

«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО».КОМАНДА «М.ТЕХ» разрабатывает более 100 инновационных ИТ продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

Мы работаем по принципам Agile, работаем на стеке технологий GreenPlum + ClickHouse + Tableau, занимаемся созданием ETL процессов, разработкой витрин, дашбордов, отчетов и других дата-продукты в рамках домена клиент. У нас много задач, много идей и действительно БОЛЬШИЕ объемы данных. Если ты имел опыт с инструментами/процессами из списка ниже и хочешь развиваться на нашем стеке, то подключайся к нашей команде - будем рады увидеть тебя!

В конвейерную команду требуется СТАРШИЙ DATA-ENGINEER, разработчик потоков данных.

СТЕК: GreenPlum + ClickHouse + Tableau + SAP BW on HANA + SAP Analysis for Office (желательно) + AirFlow, дополнительно в работе: SAP BO, SAP DS. В планах развития: переход к архитектуре Trino + Iceberg + S3 будет через полгода-год.

ТЕБЕ ПРЕДСТОИТ:

• Разработка новых и развитие текущих потоков данных, проверок качества данных и развития модели данных на текущем стеке GreenPlum + ClickHouse + AirFlow (Phyton) + Tableau;
• Участие в проекте внедрения новой архитектуры DataLakeHouse на базе Trino+Iceberg. Создание своего ETL движка;
• Оптимизация текущего аналитического хранилища (текущий размер 90+ Тб); Миграция ключевых потоков (более 300) на новый ETL движок;
• Автоматизация принятия решения по всем остальным пайплайнам более 1200. Разработка новых потоков.

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

• Опыт работы Data Engineer от 2-3  лет;
• Владение SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;
• Опыт работы на фреймворке Spark;
• Уверенное владение Python (обработка данных, скрипты, API);
• Опыт работы с Trino / Iceberg / ClickHouse / Greenplum;
• Навыки работы с Airflow — разработка DAG, настройка исполнителей, мониторинг.

ЧТО ТЫ ПОЛУЧИШЬ:

• Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
• Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
• Команду увлеченных профессионалов, которая открыта к поиску нового;
• Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде (Сколково, БЦ Орбион), но ты можешь работать удаленно из любой точки РФ);
• ДМС со стоматологией.