Top Selection
Senior Data Engineer (ETL-миграция)
Опубликовано
- Формат
- Удалённо
- География
- РФ, часовой пояс МСК ± 3ч
- Уровень
- Senior
Актуальность нужно проверить
Откройте публикацию в источнике и уточните, продолжается ли набор.
Источник проверяли 12 ноября
Доступ проверим при нажатии.
О вакансии
Вакансия «Senior Data Engineer (ETL-миграция)» в компании Top Selection. Место работы: РФ, часовой пояс МСК ± 3ч. Удалённая работа. Сфера проекта: телекоммуникации.
Чем предстоит заниматься
- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
- Написание и оптимизация SQL для витрин данных и ETL-процессов
- Разработка DAG-ов в Airflow
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
- Разработка Spark-джобов (PySpark) для больших объемов
- Интеграция с Kafka для потоковой передачи
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
- Разбор инцидентов по качеству данных и ошибкам загрузки
Что нужно для работы
- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
- Оптимизация SQL для highload (партиционирование, индексы, explain plans)
- Oracle (PL/SQL) и PostgreSQL
- Greenplum и/или Clickhouse
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
- Hadoop (HDFS) и Hive
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
- Опыт работы с биллинговыми системами (желательно телеком-домен)
- ➕ Как преимущество
- Потоковая обработка: Kafka Streams / Spark Streaming
- Informatica PowerCenter (понимание мигрируемой системы)
- Бинарные форматы хранения в Hadoop
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
- Patroni для кластеризации PostgreSQL/Greenplum
- S3-хранилища
- КриптоПро или защищенные каналы передачи данных
Что предлагает компания
- ЗП: 250 000 - 270 000 на руки
- Оформление: только как ИП
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Доступ проверим при нажатии.