Опыт работы: От 3 до 6 лет
График работы: Гибкий график
Занятость: Полная занятость
Компания: Платформа ОФД
Платформа ОФД (аккредитованная ИТ-компания) – крупнейший в России оператор фискальных данных. Резидент Сколково.У нас много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах (50 млн. чеков в день, 2 млрд уникальных названий товаров).
Одним из направлений бизнеса является аналитика, основанная на чековых данных. Направление BigData занимается тем, что из плохо структурированной информации делает аналитику, которая превращается в отчеты и продается.
Приглашаем на работу Tech Lead Data Engineer
Что у нас есть: - График работы гибрид, (1-2 раза в неделю в офисе, остальное время дома)
- Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 50 млн чеков в день, имеем 2 млрд уникальных названий товаров в базе
- Развитая инфраструктура: есть несколько кластеров Hadoop, мощные машины, GPU
- Команда Big Data: продакты, аналитики, ресечеры, DS и DE, java-разработчики
- 80% кода мы пишем на Scala
- Железо и лицензии от компании
- Оформление по ТК РФ, белая зп
- Отсрочка от мобилизации, согласно условиям Минцифры
- ДМС (поликлиника, стоматология, госпитализация, скорая)
- Скидки в фитнес-клубы, мерч, подарки детям к праздникам
- Офис в 50 метрах от м. Спортивная/ МЦК Лужники.
- Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
- Открытая рабочая атмосфера: ежемесячные статус-митинги с топами
- Пицца-пати за счет компании и корпоративные праздники
Наш стек: Hadoop, Spark, Hive, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset
GitLab, Docker, Jira, Confluence
Чем предстоит заниматься: - Управлять командой, состоящей из 4 Data Engineer`s
- Оптимизировать инфраструктуру и внутренние сервисы по обработке больших данных
- Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
- Сотрудничать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы
- По возможности участвовать в проектировании архитектуры DWH и витрин данных
Откликайся, если ты: - От 3-х лет решаешь задачи в области сбора, хранения и анализа данных
- Имеешь опыт управления командой
- Пишешь на Scala, Python/Java, SQL
- Используешь инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin