Старший разработчик в команду LLM Inference Optimization в Авито
Опубликовано
C++DockerKubernetesPrometheusGrafana
Откликнуться
Доступ проверим при нажатии.
О вакансии
Вакансия «Старший разработчик в команду LLM Inference Optimization в Авито».
Чем предстоит заниматься
- проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;
- развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг;
- регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов;
- тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса;
- масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды;
- доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках;
- запускать LLM-модели с использованием платформы инференса.
- Кого мы ищем
- оптимизировали LLM-модели с учётом профиля нагрузки;
- работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры;
- знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация;
- знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU;
- профилировали GPU и работали с инструментами для мониторинга;
- проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы;
- работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana;
- готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам.
Что нужно для работы
- Будет плюсом: писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA;
- Будет плюсом: внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс;
- Будет плюсом: работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами;
- Будет плюсом: знаете C++ или Go;
- Будет плюсом: следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике.
Что предлагает компания
- расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
- корпоративный спорт: групповые тренировки, велбиинг-приложение;
- спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
- компенсация питания;
- эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.
- Лучшие вакансии от работодателей мечты на promopoisk.com
Подходит вакансия?
Перейдите к исходному объявлению или контакту работодателя.
Откликнуться
Доступ проверим при нажатии.