Требуется «Data Engineer/Такси» (Москва)

О вакансии

Чем предстоит заниматься

• Вам предстоит
• Разрабатывать и поддерживать ETL/ELT-пайплайны для загрузки и обработки данных из различных источников;
• Участвовать в миграции существующих процессов загрузки данных на новую data-платформу на базе ClickHouse;
• Развивать и поддерживать инструменты оркестрации и обработки данных;
• Автоматизировать процессы разработки и эксплуатации data-платформы: CI/CD, тестирование, развёртывание и управление конфигурациями;
• Развивать наблюдаемость платформы: настраивать мониторинг, логирование и алерты, участвовать в расследовании и устранении инцидентов;
• Повышать надёжность и производительность пайплайнов: оптимизировать выполнение задач, обеспечивать повторную обработку данных и восстановление после сбоев.
• Мы ожидаем от вас
• Опыт работы Data Engineer от 2 лет;
• Уверенное знание Python и SQL, опыт разработки и сопровождения data-пайплайнов;
• Практический опыт работы с Docker, Kubernetes и инструментами CI/CD (GitLab CI или аналоги);
• Опыт работы с Apache Airflow или другим оркестратором, понимание принципов построения надёжных процессов обработки данных;
• Опыт работы с ClickHouse или другими аналитическими СУБД, понимание принципов построения DWH и инкрементальных загрузок;
• Опыт диагностики технических проблем, понимание принципов мониторинга, логирования и обеспечения отказоустойчивости систем.

Что нужно для работы

• Инструменты: Docker / Kubernetes / CI/CD / GitLab или аналоги
• Опыт от 2 лет
• Работа с CI/CD
• Мониторинг, логирование и наблюдаемость систем

Что предлагает компания

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.