RedLab
Data инженер
350 000–380 000 ₽
Опубликовано
- Формат
- Удалённо
- География
- РФ, РБ
- Опыт
- От 5 лет
Доступ проверим при нажатии.
О вакансии
Вакансия «Data инженер» в компании RedLab. Место работы: РФ, РБ. Удалённая работа.
Чем предстоит заниматься
- Задачи на проекте
- Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
- Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.
- Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
- Проектирование моделей данных для аналитических и операционных сценариев.
- Оптимизация производительности процессов обработки данных и SQL-запросов.
- Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.
- Участие в проектировании архитектуры платформы данных и выборе технологических решений.
- Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.
- Подготовка технической документации и архитектурных артефактов.
- Проведение код-ревью, техническое менторство и участие в развитии команды.
Что нужно для работы
- Опыт: больше 5-ти лет
- Опыт работы Data Engineer от 5 лет.
- Знание методологии Data Vault 2.0
- Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.
- Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.
- Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
- Практический опыт работы с Apache Spark.
- Опыт работы с Apache Airflow, Apache Kafka
- Опыт работы с системами потоковой обработки данных
- Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;
- Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.
- Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
- Уверенное владение Git и понимание процессов CI/CD.
- Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
- Понимание принципов построения отказоустойчивых и масштабируемых решений.
- Опыт использования dbt для построения трансформационных слоев данных.
- Практика внедрения Data Quality решений (Great Expectations, Soda и др.).
- Опыт работы с Data Catalog и Data Governance инструментами.
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Доступ проверим при нажатии.