Data engineer системы мониторинга

НСПК сегодня – это не просто операционно-клиринговый центр для карточных операций, но и современная технологическая платформа для продвижения и развития платёжных инструментов и сервисов, как на территории России, так и за её пределами. НСПК – это платёжная система «Мир», Система быстрых платежей и обработка внутрироссийских операций по картам международных платёжных систем. Мы обеспечиваем миллиарды транзакций в год при отказоустойчивости и доступности на уровне 99,999%.
Для поддержки столь высокого уровня доступности сервисов, помимо прочего, нужна сильная и внятная концепция мониторинга, способная решать самые разные задачи, и готовая адаптироваться к любым условиям.

Zabbix, Splunk, ELK Stack (subscriptions), Grafana, Nginx, Kafka, Kafka Streaming, Keepalived, glusterfs, docker, ansible.

1. Развивать и совершенствовать архитектуру и прикладной стек системы мониторинга:

• управление pipelines данными (batch/stream processing);
• подбор решений для организации передачи и аналитики данных;
• оптимизация действующих подходов взаимодействия приложений.

2. Определять правила и подходы мониторинга продуктивных, высоконагруженных платежных сервисов компании:

• взаимодействие с заказчиками для определения точек контроля;
• формирование стандартов: транспорт, модель данных (metrics, logs);
• выбор оптимальных способов решения конкретных бизнес-задач (alertig, reporting, dashboards).

3. Сопровождать и администрировать прикладной стек системы мониторинга:

• контроль работоспособности системы на уровне приложений и производительности серверов;
• автоматизация управления и эксплуатации приложений;
• повышение отказоустойчивости архитектуры, поиск первопричин сбоев, устранение неисправностей.

• Глубокие знания Linux (CentOS, Ubuntu);
• Знания, опыт развертывания и настройки, администрирования Apache Kafka:

- оптимизация работы кластера;

- настройка авторизации и аутентификации;

- работа с топиками (добавление, удаление, настройка прав доступа, настройки различных ограничений и так далее);

• Опыт настройки импорта данных с различных источников и интерфейсов с использованием коннекторов и экспортеров (Kafka connect, ELK Data shippers, Prometheus exporter и так далее);
• Опыт развертывания и эксплуатации Elastic Logstash, Fluentd (или похожих решений);
• Опыт настройка конвейеров обработки данных (различные потоковые трансформации);
• Знание скриптовых языков: Perl, Python, Shell и прочее;
• Определять слабые места архитектуры и приложений, совершенствовать систему.

• У тебя есть опыт работы c Kafka\Spark Streaming, ELK, Splunk, Prometheus, VictoriaMetrics;
• У тебя есть опыт работы с инструментами контейнеризации и оркестрации (Docker, Kubernetes);
• У тебя есть опыт администрирования СУБД (MySQL, PostgreSQL);
• Тебе близки методологии SRE, DevOps, DataOps или ты что-то знаешь про них;
• У тебя пытливый ум, много энергии, желание присоединиться к команде единомышленников для решения самых амбициозных задач.

• Оформление согласно ТК РФ;
• Достойный уровень заработной платы + премии;
• График работы: 5/2 с 9:15 до 18:00, возможность работать удаленно.;
• Социальный пакет: ДМС со стоматологией, телемедицина, полис для выезжающих за рубеж, доплата по больничным листам до 20 дней в году, материальная помощь в особых случаях;
• Профессиональное развитие: обучение за счет компании, посещение профильных конференций, электронная библиотека;
• Корпоративная культура: командные виды спорта, корпоративные мероприятия, тимбилдинги, лектории;
• Работа в команде профессионалов с уникальной экспертизой;
• Комфортный офис в центре: тренажерный и спортивный залы, лаунж-зона, корпоративная столовая, микромаркеты, кухни с чаем, кофе и снеками на каждом этаже.