Senior Data engineer (DWH)

З/п не указана

Опыт работы: От 3 до 6 лет

График работы: Полный день

Занятость: Полная занятость

Компания: WILDBERRIES

Мы в поиске Data engineer, который будет участвовать в новом проекте для которого требуется развивать действующий DWH.

Наш стек: Python, Airflow для процессинга, Spark(на данный момент только Jupyter hub для команды в кластере 1500+ CPU), Clickhouse как основа для DWH (5 шардов \ 80Tb на реплику), Postgres для хранения чувствительных данных data vault \ 3НФ, Kafka как основной источник данных, OpenMetaData для ведения документации DWH, Superset для удобного мониторинга data quality / состояния DWH (system.* таблиц), вся инфраструктура развернута в k8s, gitlab, youtrack. Обязанности:

проектировать и разрабатывать ETL пайплайны на Airflow для Clickhouse\Postgres
оптимизировать действующие пайплайны и учавствовать в доработке фреймворка Airflow
взаимодействовать с аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными
анализировать и внедрять инструменты инжиниринга данных.

Требования:

опыт работы с Airflow
опыт работы с Python
опыт работы с шардированным Clickhouse
опыт работы с Postgres
понимание концепции слоев данных, физических и логических моделей
опыт работы с Kafka.

Плюсом будет:

опыт работы с Docker
опыт работы с Kubernetes
опыт написания CI/CD пайплайнов.

Условия:

стабильность и уверенность в завтрашнем дне - оформляем по ТК РФ с первого дня, нацелены на долгосрочную совместную работу;
график 5/2 – удаленно/гибридно (после испытательного срока);
бесплатное питание в офисе (шведский стол);
гибкие бизнес-процессы, минимум бюрократии и согласований;
максимум возможностей для профессиональной самореализации;
ДМС со стоматологией после ИС;
работу в БЦ Искра-Парк, м. Динамо. Просторный опенспейс, кофейня, йога в офисе, настольный теннис, много растений;
конференции, митапы, курсы и скидки от наших партнеров;
спортивные мероприятия и скидки на фитнес.

Хочу откликнуться

Сотрудник ресторана Rostics от 45 000 руб. + премии

Стабильность, обучение, премии, карьерный рост.

Промоутер во ВкусВилл от 56 000 руб.

Раздача рекламных листовок, активное привлечение покупателей, работа с рупором. Обучение, фирменная спецодежда.

Подработка рядом с домом в «Моя смена» от 10 000 до 22 000 руб.

Подработки в крупных торговых сетях рядом с домом по удобному графику.

Повар-кассир в Бургер Кинг от 35 000 руб.

Готовить вкуснейшие вопперы и другие позиции из меню ресторана. Быстро и аккуратно собирать заказы. Вести расчет по кассе.

Сборщик интернет-заказов во ВкусВилл от 3 080 руб. в день

Сбор товаров, контроль продуктов, инвентаризация. Фирменная одежда, обучение, компенсации, карьерный рост.

Мобильный продавец во ВкусВилл от 70 000 руб.

Развитие и раскрутка новых магазинов в Москве, Московской области и других регионах России

Кассир во ВкусВилл в среднем 43 300 руб.

Консультации покупателей, работа с кассой. Фирменная одежда, обучение, компенсации, карьерный рост.