К содержанию
myOffer Вакансии
Все вакансии

Top Selection

Senior Data Engineer (ETL-миграция)

Опубликовано

Формат
Удалённо
География
РФ, часовой пояс МСК ± 3ч
Уровень
Senior
SQLPostgreSQLKafkaClickHouseAirflowSparkPrometheusGrafana

Актуальность нужно проверить

Откройте публикацию в источнике и уточните, продолжается ли набор.

Источник проверяли 12 ноября

Проверить в источнике

Доступ проверим при нажатии.

О вакансии

Вакансия «Senior Data Engineer (ETL-миграция)» в компании Top Selection. Место работы: РФ, часовой пояс МСК ± 3ч. Удалённая работа. Сфера проекта: телекоммуникации.

Чем предстоит заниматься

  • Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
  • Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
  • Написание и оптимизация SQL для витрин данных и ETL-процессов
  • Разработка DAG-ов в Airflow
  • Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
  • Разработка Spark-джобов (PySpark) для больших объемов
  • Интеграция с Kafka для потоковой передачи
  • Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
  • Разбор инцидентов по качеству данных и ошибкам загрузки

Что нужно для работы

  • Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
  • Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
  • Оптимизация SQL для highload (партиционирование, индексы, explain plans)
  • Oracle (PL/SQL) и PostgreSQL
  • Greenplum и/или Clickhouse
  • Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
  • Hadoop (HDFS) и Hive
  • Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
  • Опыт работы с биллинговыми системами (желательно телеком-домен)
  • ➕ Как преимущество
  • Потоковая обработка: Kafka Streams / Spark Streaming
  • Informatica PowerCenter (понимание мигрируемой системы)
  • Бинарные форматы хранения в Hadoop
  • Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
  • Patroni для кластеризации PostgreSQL/Greenplum
  • S3-хранилища
  • КриптоПро или защищенные каналы передачи данных

Что предлагает компания

  • ЗП: 250 000 - 270 000 на руки
  • Оформление: только как ИП

Подходит вакансия?

Перейдите к исходному объявлению или контакту работодателя.

Проверить в источнике

Доступ проверим при нажатии.

Можно искать с поддержкой

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Можно искать с поддержкой

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Похожие вакансии

Our key product

Senior Data Analyst

Data / MLSenior

от 4 000 EUR / месяц

Удалённо

5+ years of experience in analytics.

PythonSQLClickHouseAirflow+2
IT-hunter

Senior ML Engineer (Python / NLP / LLM)

BackendSenior

≈ 360 000 ₽ / мес.

Оценка рынка
Удалённо

Проектировать, разрабатывать и оптимизировать ML-пайплайны: от подготовки данных и обучения моделей до внедрения в production

PythonSQLPostgreSQLDocker+6

Больше подходящих вакансий

Какой поддержки вам не хватает?

Можно передать поиск команде или сначала подготовиться с ментором.

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Каталог остаётся бесплатным. Подробности программ откроются в новой вкладке.