К содержанию
myOffer Вакансии
Все вакансии

Старший разработчик в команду LLM Inference Optimization в Авито

Опубликовано

C++DockerKubernetesPrometheusGrafana
Откликнуться

Доступ проверим при нажатии.

О вакансии

Вакансия «Старший разработчик в команду LLM Inference Optimization в Авито».

Чем предстоит заниматься

  • проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;
  • развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг;
  • регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов;
  • тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса;
  • масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды;
  • доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках;
  • запускать LLM-модели с использованием платформы инференса.
  • Кого мы ищем
  • оптимизировали LLM-модели с учётом профиля нагрузки;
  • работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры;
  • знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация;
  • знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU;
  • профилировали GPU и работали с инструментами для мониторинга;
  • проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы;
  • работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana;
  • готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам.

Что нужно для работы

  • Будет плюсом: писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA;
  • Будет плюсом: внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс;
  • Будет плюсом: работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами;
  • Будет плюсом: знаете C++ или Go;
  • Будет плюсом: следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике.

Что предлагает компания

  • расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
  • корпоративный спорт: групповые тренировки, велбиинг-приложение;
  • спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
  • компенсация питания;
  • эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.
  • Лучшие вакансии от работодателей мечты на promopoisk.com

Подходит вакансия?

Перейдите к исходному объявлению или контакту работодателя.

Откликнуться

Доступ проверим при нажатии.

Можно искать с поддержкой

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Можно искать с поддержкой

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Какой поддержки вам не хватает?

Можно передать поиск команде или сначала подготовиться с ментором.

Сопровождение поиска

Личный специалист поможет с резюме, подбором вакансий и откликами. Вы сосредоточитесь на интервью.

Делегировать поиск

Менторинг + поиск

Практика с профильным ментором: план подготовки, задачи и обратная связь. После подготовки — поиск работы.

О менторинге

Каталог остаётся бесплатным. Подробности программ откроются в новой вкладке.