ИИ в тестировании
Тестирование приложений на языковых моделях, генерация тест-кейсов и автотестов с помощью ИИ, prompt injection.
3 статьи в порядке чтения
- Тестирование приложений на LLMКак тестировать приложения на языковых моделях: недетерминированность, наборы оценок (evals), проверка ответа другой моделью, регресс после смены модели.
- Генерация тест-кейсов и автотестов с помощью ИИГенерация тестов с помощью ИИ: входные данные из требований, интерфейса, спецификаций API и кода, ограничения, проблема оракула, проверка человеком и запуском.
- Prompt injectionPrompt injection: прямая и косвенная инъекция, инъекция через результаты инструментов, джейлбрейк, OWASP LLM01, тестирование, меры защиты и их пределы.