Initial SQL-only 1C adapter baseline

2026-07-22 03:03:47 +03:00
commit e2503b77e7
545 changed files with 184711 additions and 0 deletions
@@ -0,0 +1,35 @@
+id: text-smoke
+name: Text Smoke Eval
+model: qwen3-4b-instruct
+type: manual
+cases:
+  - id: ru-short-answer
+    messages:
+      - role: system
+        content: "Отвечай кратко и по делу."
+      - role: user
+        content: "Объясни в двух предложениях, что такое локальная LLM-платформа."
+    checks:
+      - "Ответ на русском языке."
+      - "Не больше двух предложений."
+      - "Упоминает локальный запуск или локальное хранение моделей."
+  - id: code-1c-awareness
+    messages:
+      - role: system
+        content: "Ты помощник по 1С и BSL."
+      - role: user
+        content: "Напиши короткий пример условия Если Тогда Иначе на BSL."
+    checks:
+      - "Использует синтаксис BSL."
+      - "Содержит Если, Тогда, Иначе и КонецЕсли."
+      - "Не выдумывает объекты конфигурации."
+  - id: tool-use-intent
+    messages:
+      - role: system
+        content: "Если для ответа нужны метаданные 1С, скажи какой инструмент нужно вызвать."
+      - role: user
+        content: "Какие реквизиты есть у справочника Номенклатура?"
+    checks:
+      - "Не выдумывает реквизиты."
+      - "Сообщает, что нужно получить метаданные 1С."
+      - "Упоминает инструмент или запрос метаданных."