TL Data Engineer

З/п не указана
Опыт работы: От 3 до 6 лет
График работы: Гибкий график
Занятость: Полная занятость
Компания: Платформа ОФД
Платформа ОФД (аккредитованная ИТ-компания) – крупнейший в России оператор фискальных данных. Резидент Сколково.У нас много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах (50 млн. чеков в день, 2 млрд уникальных названий товаров).
Одним из направлений бизнеса является аналитика, основанная на чековых данных. Направление BigData занимается тем, что из плохо структурированной информации делает аналитику, которая превращается в отчеты и продается.
Приглашаем на работу Tech Lead Data Engineer

Что у нас есть:
  • График работы гибрид, (1-2 раза в неделю в офисе, остальное время дома)
  • Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе
  • Развитая инфраструктура: есть несколько кластеров Hadoop, мощные машины, GPU
  • Команда Big Data: продакты, аналитики, ресечеры, DS и DE, java-разработчики
  • 80% кода мы пишем на Scala
  • Железо и лицензии от компании
  • Оформление по ТК РФ, белая зп
  • Отсрочка от мобилизации, согласно условиям Минцифры
  • ДМС (поликлиника, стоматология, госпитализация, скорая)
  • Скидки в фитнес-клубы, мерч, подарки детям к праздникам
  • Офис в 50 метрах от м. Спортивная/ МЦК Лужники.
  • Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
  • Открытая рабочая атмосфера: ежемесячные статус-митинги с топами
  • Пицца-пати за счет компании и корпоративные праздники
Наш стек:

Hadoop, Spark, Hive, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset

GitLab, Docker, Jira, Confluence

Чем предстоит заниматься:
  • Управлять командой, состоящей из 4 Data Engineer`s
  • Оптимизировать инфраструктуру и внутренние сервисы по обработке больших данных
  • Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
  • Сотрудничать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы
  • По возможности участвовать в проектировании архитектуры DWH и витрин данных
Откликайся, если ты:
  • От 3-х лет решаешь задачи в области сбора, хранения и анализа данных
  • Имеешь опыт управления командой
  • Пишешь на Scala, Python/Java, SQL
  • Используешь инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
Хочу откликнуться
<
>