Data Engineer (Data Platform) | Middle+ / Senior

О вакансии

Чем предстоит заниматься

• Вам предстоит
• Строить Python/SQL-пайплайны загрузки данных из файлов, API и информационных систем: парсинг сложных и вложенных XML/JSON, нормализация, загрузка в хранилище.
• Разворачивать, настраивать и поддерживать инструменты обработки данных: оркестрацию, хранилище, S3.
• Проектировать модель хранилища: сущности, связи, правила преобразования источников.
• Обеспечивать надёжность пайплайнов: инкрементальные загрузки, повторные запуски без дублей, обработка ошибок, разбор сбоев.
• Встраивать в потоки данных псевдоанонимизацию и проверки качества.
• Готовить для ML-команды версионируемые датасеты.
• Ожидаем от вас
• Уверенные Python и SQL, продакшн-код, а не ноутбуки.
• Практический опыт ETL/ELT: оркестрация, инкрементальная обработка, backfill, повторные запуски.
• Опыт самостоятельной настройки и поддержки дата-инфраструктуры, а не только работы с готовой.
• Понимание реляционного моделирования, ключей и связей.
• Опыт с S3, Parquet, pandas / Polars / PyArrow.
• Linux, Git, Docker, CI/CD.
• Опыт работы с чувствительными данными: контроль доступа, отсутствие персональных данных в логах.

Что нужно для работы

• Будет плюсом: Медицинские данные, интеграции с МИС, клинические справочники.
• Будет плюсом: Опыт подготовки данных для ML: разбиение выборок, проверка утечек, версионирование (DVC, MLflow или аналоги).
• Будет плюсом: Опыт превращения прототипа в регулярно работающий пайплайн.
• Будет плюсом: Почему интересно
• Будет плюсом: Платформа данных с нуля: вы влияете на архитектуру и выбор инструментов.
• Будет плюсом: Сложные и разнородные данные из медицинских систем: есть где применить инженерный опыт.
• Будет плюсом: Продукт, который приносит реальную пользу врачам и пациентам.