Требуется «Data Engineer в Локализацию» (Москва)

О вакансии

Чем предстоит заниматься

• Вам предстоит
• Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
• Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
• Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
• Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных;
• Пробовать использовать любой доступный open source инструмент, если ты видишь в нем ценность для команды или потребителей.
• Мы ожидаем от вас
• Уверенный Python в контексте DE (2+ года);
• Глубокое знание SQL (оконные функции, оптимизация запросов, explain-планы);
• Опыт работы с оркестраторами данных (у нас Airflow);
• Опыт с Hadoop (Spark / YARN / HDFS);
• Опыт с MPP-системами (Greenplum, ClickHouse, Redshift и аналоги);
• Опыт взаимодействия: Trino/Presto, DBT, Feature Store, DQ-фреймворками (Great Expectations, Soda или собственные решения).

Что нужно для работы

• Опыт от 2 лет

Что предлагает компания

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.