13 lines
516 B
Markdown
13 lines
516 B
Markdown
# Evals
|
|
|
|
Здесь хранятся проверки качества моделей и плагинов.
|
|
|
|
На старте eval-наборы могут быть ручными: запрос, ожидаемые свойства ответа и чек-лист проверки.
|
|
|
|
Позже добавим автоматические проверки:
|
|
|
|
- JSONL-наборы;
|
|
- запуск через OpenAI-compatible API;
|
|
- сравнение base/RAG/adapter;
|
|
- отчеты по версиям моделей.
|