Медиалогия
Data Engineer (Hadoop, Scala)
Опубликовано
- Формат
- Гибрид
- Опыт
- От 3 лет
- Занятость
- Полная занятость
Доступ проверим при нажатии.
О вакансии
Вакансия «Data Engineer (Hadoop, Scala)» в компании Медиалогия. Гибридный формат работы.
Чем предстоит заниматься
- разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
- настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
- оптимизация распределенных вычислений и запросов
- работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
- участие в проектировании и масштабировании архитектуры данных
- автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)
Что нужно для работы
- Опыт работы: 3–6 лет
- высшее (неоконченное высшее) образование
- опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
- глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
- опыт оптимизации производительности распределенных систем
- работа с потоковой обработкой (Kafka, Spark Streaming)
- навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
- Будет плюсом: опыт с PySpark, Flink, Airflow
- Будет плюсом: знание Elasticsearch, ClickHouse, Vertica
- Будет плюсом: навыки настройки кластеров и инфраструктуры
Что предлагает компания
- Полная занятость
- Формат работы: удалённо или гибрид
График и условия
- График: 5/2
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Доступ проверим при нажатии.