талантливого Data Engineer
Опубликовано
PythonScalaSQLAirflowSpark
Откликнуться
Доступ проверим при нажатии.
О вакансии
Вакансия «талантливого Data Engineer».
Чем предстоит заниматься
- Что предстоит делать
- Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
- Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
- Развивать архитектуру Data Lake / DWH
- Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов
Что нужно для работы
- Практический опыт разработки и сопровождения пайплайнов данных
- Опыт работы с PySpark, Python и SQL
- Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
- Понимание принципов распределённой обработки данных
- Будет плюсом: Опыт работы с Trino+S3
- Будет плюсом: Опыт оркестрации пайплайнов с помощью Airflow
- Будет плюсом: Знакомство с Data Vault 2.0
- Будет плюсом: Знание Scala и опыт её использования для обработки данных
- Будет плюсом: Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения
Источник: Telegram. Условия и актуальность вакансии подтверждает работодатель.
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Откликнуться
Доступ проверим при нажатии.