Требуется «Tech Lead Data Lakehouse Engineer в Корпоративное хранилище»

О вакансии

Чем предстоит заниматься

• Вам предстоит
• Проектировать и развивать Data Lakehouse платформу;
• Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino;
• Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake;
• Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana;
• Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm);
• Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.
• Вы нам подходите, если
• Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений;
• Обладаете опытом проектирования DLH с нуля;
• Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов;
• Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий);
• У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов;
• Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов.
• Преимущества для сотрудников
• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

Что предлагает компания

• ДМС / медицинское страхование