36 lines
1.6 KiB
YAML
36 lines
1.6 KiB
YAML
id: text-smoke
|
|
name: Text Smoke Eval
|
|
model: qwen3-4b-instruct
|
|
type: manual
|
|
cases:
|
|
- id: ru-short-answer
|
|
messages:
|
|
- role: system
|
|
content: "Отвечай кратко и по делу."
|
|
- role: user
|
|
content: "Объясни в двух предложениях, что такое локальная LLM-платформа."
|
|
checks:
|
|
- "Ответ на русском языке."
|
|
- "Не больше двух предложений."
|
|
- "Упоминает локальный запуск или локальное хранение моделей."
|
|
- id: code-1c-awareness
|
|
messages:
|
|
- role: system
|
|
content: "Ты помощник по 1С и BSL."
|
|
- role: user
|
|
content: "Напиши короткий пример условия Если Тогда Иначе на BSL."
|
|
checks:
|
|
- "Использует синтаксис BSL."
|
|
- "Содержит Если, Тогда, Иначе и КонецЕсли."
|
|
- "Не выдумывает объекты конфигурации."
|
|
- id: tool-use-intent
|
|
messages:
|
|
- role: system
|
|
content: "Если для ответа нужны метаданные 1С, скажи какой инструмент нужно вызвать."
|
|
- role: user
|
|
content: "Какие реквизиты есть у справочника Номенклатура?"
|
|
checks:
|
|
- "Не выдумывает реквизиты."
|
|
- "Сообщает, что нужно получить метаданные 1С."
|
|
- "Упоминает инструмент или запрос метаданных."
|