Все вакансии/Тестировщикам/QA Engineer ИИ-решений (LLM/RAG)
Вакансия давно не обновлялась источником и могла устареть. Контакт работает.
K
Kokoc Tech
сегодня

QA Engineer ИИ-решений (LLM/RAG)

224 000–224 000 ₽
Сгенерировать отклик под эту вакансию с ИИ
Аврора подстроит резюме и напишет сопроводительное за 30 секунд

Чем предстоит заниматься

  • Готовить тест-кейсы на основе требований и критериев приёмки ИИ-инициатив.
  • Проводить функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify и API-интеграций с внутренними системами.
  • Проверять позитивные, негативные и пограничные сценарии, включая нетипичные пользовательские запросы и «галлюцинации» модели.
  • Выполнять регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций.
  • Сверять результаты с согласованными требованиями и метриками качества.
  • Формировать и поддерживать тестовые выборки (golden set) вместе с бизнесом и ML-командой, участвовать в оценке качества ответов.
  • Фиксировать дефекты, контролировать их устранение и отчитываться по качеству релизов.
  • Проводить приёмочное тестирование перед выпуском в production и участвовать в приёмке с бизнесом.

Требования

  • От 3 лет опыта в тестировании ПО
  • От 1 года тестирования ML/LLM-продуктов или API и интеграций backend-сервисов
  • Понимание специфики недетерминированных ответов модели
  • Не менее 2 проектов тестирования интеграционных/API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию
  • Опыт построения регрессионных наборов и тестовых выборок
  • Желательно: опыт в e-commerce, ритейле, B2B-дистрибуции, клиентском сервисе

Условия

  • Проектная занятость в рамках долгосрочного проекта, фултайм.
  • Удалённая работа по РФ; локация — строго Москва или Саранск.
  • Оформление: ГПХ или ИП.
  • Оплата — до 1400 ₽ в час гросс.
  • Кандидаты, работавшие над проектами Лимана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет, М.Видео за последние 6 месяцев, не рассматриваются.

Стек

Тест-дизайнТестовая документацияБаг-трекерыREST APIPostmanJSONSQLPythonLLMRAGПромптыМетрики качества ИИDifyLangChainpytestrequestsRAGASDeepEvalpromptfooLLM-as-a-judgeCI/CDGitJiraYandex TrackerConfluenceYandex WikiGoogle Sheets

Контакт работодателя

Прямой контакт рекрутёра в Telegram, без посредников
@recruiter_hidden
Бесплатно — за подписку на наш Telegram-канал
@recruiter
Telegram · прямой контакт
Написать
Аврора откликнется за вас. Пока вы пишете одному рекрутёру, автопилот отправляет отклики на все подходящие.
Попробовать →
Контакты открываются по подписке на канал. Подпишитесь — и контакт откроется сразу, ничего заполнять не нужно.
Подписаться снова
Дневной лимит контактов исчерпан. Счётчик обнулится в 00:00 по Москве — вакансия никуда не денется, она уже в вашей истории.
Безлимит будет в подписке Авроры — скоро.
Узнать первым →
Вакансия в архиве — отклик недоступен. Посмотрите похожие активные вакансии ниже.
Показать контакт