516 B
516 B
Evals
Здесь хранятся проверки качества моделей и плагинов.
На старте eval-наборы могут быть ручными: запрос, ожидаемые свойства ответа и чек-лист проверки.
Позже добавим автоматические проверки:
- JSONL-наборы;
- запуск через OpenAI-compatible API;
- сравнение base/RAG/adapter;
- отчеты по версиям моделей.