llm/core/inference/README.md

Core Inference

Общий слой инференса.

Цель: дать единый интерфейс для запуска моделей разных типов.

Планируемые режимы:

• OpenAI-compatible API для текстовых моделей;
• batch inference;
• локальный inference для eval-тестов;
• подключение LoRA/adapters поверх базовых моделей.