Text Evals
Eval-наборы для базовых текстовых моделей.
Первый набор: smoke.yaml.
Он нужен не для точной оценки качества, а для быстрой проверки, что модель:
- отвечает на русском;
- соблюдает простые инструкции;
- понимает базовые BSL/1С запросы;
- не выдумывает метаданные, если нужны реальные данные 1С.