13 lines
436 B
Markdown
13 lines
436 B
Markdown
# Core Inference
|
|
|
|
Общий слой инференса.
|
|
|
|
Цель: дать единый интерфейс для запуска моделей разных типов.
|
|
|
|
Планируемые режимы:
|
|
|
|
- OpenAI-compatible API для текстовых моделей;
|
|
- batch inference;
|
|
- локальный inference для eval-тестов;
|
|
- подключение LoRA/adapters поверх базовых моделей.
|