id: text-smoke
name: Text Smoke Eval
model: qwen3-4b-instruct
type: manual
cases:
  - id: ru-short-answer
    messages:
      - role: system
        content: "Отвечай кратко и по делу."
      - role: user
        content: "Объясни в двух предложениях, что такое локальная LLM-платформа."
    checks:
      - "Ответ на русском языке."
      - "Не больше двух предложений."
      - "Упоминает локальный запуск или локальное хранение моделей."
  - id: code-1c-awareness
    messages:
      - role: system
        content: "Ты помощник по 1С и BSL."
      - role: user
        content: "Напиши короткий пример условия Если Тогда Иначе на BSL."
    checks:
      - "Использует синтаксис BSL."
      - "Содержит Если, Тогда, Иначе и КонецЕсли."
      - "Не выдумывает объекты конфигурации."
  - id: tool-use-intent
    messages:
      - role: system
        content: "Если для ответа нужны метаданные 1С, скажи какой инструмент нужно вызвать."
      - role: user
        content: "Какие реквизиты есть у справочника Номенклатура?"
    checks:
      - "Не выдумывает реквизиты."
      - "Сообщает, что нужно получить метаданные 1С."
      - "Упоминает инструмент или запрос метаданных."