Action tech
Data инженер
Опубликовано
- Формат
- Удалённо
- Опыт
- От 1 года
- Занятость
- Полная занятость
Актуальность нужно проверить
Откройте публикацию в источнике и уточните, продолжается ли набор.
Источник проверяли 14 ноября
Доступ проверим при нажатии.
О вакансии
Вакансия «Data инженер» в компании Action tech. Удалённая работа.
Чем предстоит заниматься
- На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage
- Разрабатывать и дорабатывать ETL-процессы в Airflow
- Подключать новые источники данных
- Создавать и дорабатывать витрины
- Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
- Работать с большими объемами данных
- Развивать процессы контроля качества данных
Что нужно для работы
- Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных
- От 1 года опыта работы с данными
- Отличное знание SQL: JOIN, оконные функции, процедуры
- Умение профилировать и оптимизировать запросы, понимать план выполнения
- Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
- Практический опыт работы с Airflow и ETL-процессами
- Python на базовом уровне
- Знание Linux и умение работать с командной строкой
- Опыт работы с Git
- Понимание принципов работы Docker
- Опыт работы с большими данными (>100 GB)
- Опыт работы с DataHub
Что предлагает компания
- Полная занятость
- Формат работы: можно удалённо
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Доступ проверим при нажатии.