QA (ML/LLM)

200 000–250 000 ₽

Сгенерировать отклик под эту вакансию с ИИ

Аврора подстроит резюме и напишет сопроводительное за 30 секунд

Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс
Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы
Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений
Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами
Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код)

Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем
Уверенный SQL (GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки
Python для автоматизации тестов и обработки результатов
Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам
Будет плюсом: опыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своих; опыт с LangChain/LangGraph; знание банковской предметной области, финансовой отчётности (P&L); опыт тестирования data-продуктов: витрины, ETL, качество данных

SQLGreenPlumPythonLLMLangChainLangGraphRagasDeepEval

Прямой контакт рекрутёра в Telegram, без посредников

@recruiter_hidden

Бесплатно — за подписку на наш Telegram-канал

@recruiter

Telegram · прямой контакт

Аврора откликнется за вас. Пока вы пишете одному рекрутёру, автопилот отправляет отклики на все подходящие.

Контакты открываются по подписке на канал. Подпишитесь — и контакт откроется сразу, ничего заполнять не нужно.

Дневной лимит контактов исчерпан. Счётчик обнулится в 00:00 по Москве — вакансия никуда не денется, она уже в вашей истории.

Безлимит будет в подписке Авроры — скоро.

Вакансия в архиве — отклик недоступен. Посмотрите похожие активные вакансии ниже.