Initial SQL-only 1C adapter baseline

This commit is contained in:
2026-07-22 03:03:47 +03:00
commit e2503b77e7
545 changed files with 184711 additions and 0 deletions
+12
View File
@@ -0,0 +1,12 @@
# Text Evals
Eval-наборы для базовых текстовых моделей.
Первый набор: `smoke.yaml`.
Он нужен не для точной оценки качества, а для быстрой проверки, что модель:
- отвечает на русском;
- соблюдает простые инструкции;
- понимает базовые BSL/1С запросы;
- не выдумывает метаданные, если нужны реальные данные 1С.
+35
View File
@@ -0,0 +1,35 @@
id: text-smoke
name: Text Smoke Eval
model: qwen3-4b-instruct
type: manual
cases:
- id: ru-short-answer
messages:
- role: system
content: "Отвечай кратко и по делу."
- role: user
content: "Объясни в двух предложениях, что такое локальная LLM-платформа."
checks:
- "Ответ на русском языке."
- "Не больше двух предложений."
- "Упоминает локальный запуск или локальное хранение моделей."
- id: code-1c-awareness
messages:
- role: system
content: "Ты помощник по 1С и BSL."
- role: user
content: "Напиши короткий пример условия Если Тогда Иначе на BSL."
checks:
- "Использует синтаксис BSL."
- "Содержит Если, Тогда, Иначе и КонецЕсли."
- "Не выдумывает объекты конфигурации."
- id: tool-use-intent
messages:
- role: system
content: "Если для ответа нужны метаданные 1С, скажи какой инструмент нужно вызвать."
- role: user
content: "Какие реквизиты есть у справочника Номенклатура?"
checks:
- "Не выдумывает реквизиты."
- "Сообщает, что нужно получить метаданные 1С."
- "Упоминает инструмент или запрос метаданных."