llm/docs/roadmap.md

Roadmap

Current Stand Status - 2026-06-20

Main UI:

• LAN URL: http://192.168.220.91:8765/tools/model-chat/
• Current GPU profile: image
• Running GPU containers: llm-model-chat-ui, llm-transformers-image, llm-transformers-translation
• Stopped heavy GPU containers: llm-vllm-text, llm-transformers-audio, llm-transformers-video, llm-llama-qwen3-coder-q6-test
• GPU mode is intentionally single-heavy-model: keep only the active task model loaded on RTX 4090.

Plugin status:

Plugin	Current route	Status	Notes
Text	qwen3-4b-instruct on vllm-text	ready to start	Stopped in image profile to free VRAM.
1C	qwen3-coder-1c-q6 on llama.cpp port 8081	ready to start	Default manual-check route now prefers Qwen3-Coder Q6; LoRA/RAG remain separate candidates.
Translation	lmt-60-4b on translation-api	online	API responds on http://docker-gpu.cin.su:8010.
Audio	whisper-large-v3-turbo	ready to start	Model files are present; service is stopped in image profile.
Video	qwen2_5-vl-7b-instruct	ready to start	Model files are present; service is stopped in image profile.
Image	sdxl-image	online	SDXL generation and inpainting are verified through UI proxy.

Recent verified checks:

• Browser UI opens and selects Stable Diffusion XL Base 1.0 [staging] for plugin Фото.
• Image API route is http://docker-gpu.cin.su:8040, served model sdxl-image.
• SDXL generate smoke test completed at 512x512, 4 steps, after warmup in 2194 ms.
• SDXL inpaint smoke test completed at 512x512, 4 steps, including first inpaint model load in 180649 ms.
• SDXL generate smoke test completed after image service restart at 512x512, 1 step, in 86866 ms.
• Qwen Image Edit files are present and QwenImageEditPipeline loads in about 31 s, but a 512x512 1-step edit did not finish within 1800 s on RTX 4090 with CPU offload; SDXL remains the default practical image service.
• Qwen3-Coder Q6 GPU/CPU comparison exists: GPU 57.72 tok/s, CPU 2.66 tok/s, speedup about x21.7.
• 1C route check returns qwen3-coder-30b-a3b-instruct-q6_k through http://docker-gpu.cin.su:8081.

Next technical priorities:

1. Done: add a first-class launcher for Qwen3-Coder Q6 on GPU instead of keeping it as an ad hoc test container.
2. Done: make the 1C route prefer the strongest available GGUF model for manual checks, while keeping LoRA/RAG as separate modes.
3. Done: add smoke tests for audio and video profiles similar to the completed image smoke tests; live runs wait for profile switches.
4. Done: add an image model mode switch for SDXL vs Qwen Image Edit before trying Qwen Image Edit on RTX 4090.
5. Done: add a status report generator so this section can be regenerated from /api/health.

Stage 1: Platform Skeleton

• Зафиксировать архитектуру core + plugins.
• Описать правила model registry.
• Создать шаблон model card.
• Подготовить структуру плагинов.

Stage 2: First Inference

• Выбрать первую текстовую модель.
• Описать ее model card.
• Поднять inference на docker-gpu.cin.su.
• Проверить API и базовые eval-тесты.

Текущая основа:

• core/deploy/docker-gpu/vllm/compose.yaml
• core/deploy/docker-gpu/vllm/.env.example
• docs/runbooks/first-vllm-inference.md
• registry/model-cards/qwen3-4b-instruct-2507.yaml
• scripts/download_hf_model.py
• scripts/list_model_cards.py
• scripts/build_model_index.py

Stage 3: 1C RAG

• Собрать документы и правила по 1С.
• Подготовить индекс для поиска.
• Добавить инструменты работы с метаданными 1С.
• Сделать eval-набор задач по BSL и запросам 1С.

Текущая основа:

• plugins/1c/rag/manifests/corpus.yaml
• scripts/prepare_1c_rag_corpus.py
• plugins/1c/tools/tool-contract.yaml
• plugins/1c/prompts/system.md
• plugins/1c/evals/smoke.yaml
• scripts/build_1c_rag_index.py
• scripts/search_1c_rag.py
• scripts/ask_1c_rag.py
• scripts/check_1c_rag_prompt.py
• plugins/1c/metadata/schema.json
• scripts/validate_1c_metadata_snapshot.py
• scripts/convert_1c_metadata_to_rag.py

Stage 4: 1C Fine-Tuning

• Накопить проверенные пары вопрос/ответ.
• Очистить данные от секретов и персональных данных.
• Обучить LoRA/adapter.
• Сравнить base model, RAG и adapter.

Текущая основа:

• plugins/1c/training/examples/instruction.examples.jsonl
• plugins/1c/training/manifests/dataset.yaml
• scripts/validate_1c_training_data.py
• scripts/prepare_1c_training_data.py
• plugins/1c/training/configs/qwen3-coder-30b-a3b-lora.yaml
• scripts/preflight_1c_training.py
• scripts/train_1c_lora.py
• core/deploy/docker-gpu/training/1c-lora.compose.yaml
• plugins/1c/adapters/qwen3-coder-30b-a3b-1c-lora-v1.yaml
• registry/model-cards/qwen3-coder-30b-a3b-1c-lora-v1.yaml

Stage 5: Service Split

• Вынести тяжелые плагины в отдельные контейнеры.
• Описать API-контракты.
• Добавить мониторинг и контроль версий моделей.

Текущая основа:

• core/deploy/docker-gpu/transformers/translation.compose.yaml
• core/deploy/docker-gpu/transformers/audio.compose.yaml
• core/deploy/docker-gpu/transformers/video.compose.yaml
• scripts/transformers_plugin_server.py
• scripts/deploy_transformers_service.ps1

Stage 6: GPU Service Manager

• Управлять запуском/остановкой тяжелых сервисов моделей.
• Показывать VRAM и endpoint выбранной модели в UI.
• Исключить конфликт нескольких compose-проектов.
• Оставить ручной операторский путь через PowerShell.

Текущая основа:

• scripts/manage_model_service.ps1
• POST /api/service-control in scripts/model_chat_server.py
• service panel in tools/model-chat/index.html

Stage 7: Model Cabinet

• Загружать модель файлом из личного кабинета.
• Импортировать модель по URL или серверному пути.
• Проверять наличие файлов, размер, checksum и карточку модели.
• Переводить проверенную модель из incoming в рабочий registry.

Текущая основа:

• /api/model-ingest/upload
• /api/model-ingest/source
• /api/model-ingest/verify
• reports/model-ingest/jobs.jsonl

Stage 8: Video And Vision

• Реализовать image endpoint для Qwen2.5-VL.
• Добавить загрузку изображения в UI.
• Для видео сделать извлечение кадров и VLM-анализ.
• Добавить eval-набор для экранов, документов и видео-сцен.

Stage 9: 1C Live Integration

• Подключить read-only коннектор к реальной базе 1С.
• Добавить быстрый operational loop без обязательной полной XML/EDT-синхронизации на каждый шаг.
• Индексировать реальные метаданные и BSL-модули через легкий 1C agent или JSON snapshot.
• Подключить intake задач из текста, Excel-файлов и скриншотов/макетов интерфейса.
• Ввести полные 1C-пути как основной язык агента: Справочник.Контрагенты.Наименование, а не голое Наименование.
• Разделить effective-read и editor-provenance: агент читает итоговую картину 1С, но пишет только через origin/layer-aware write plan.
• Добавить отдельное разрешение BSL-символов внутри модуля/формы, чтобы переменная Номенклатура не смешивалась с объектом Справочник.Номенклатура.
• Расширить поддержку расширений: порядок применения, добавленные объекты, adopted base objects, insert-before/after, replace, replace-with-control.
• Добавить quality gates перед любыми изменениями.
• Обучать LoRA только после RAG baseline и проверенного датасета.

Текущая основа:

• docs/runbooks/1c-operational-coding.md
• docs/1c-extension-layer-plan.md
• docs/1c-adapter-api-contract.md
• plugins/1c/connector/contracts/openapi.yaml
• plugins/1c/connector/policies/read-only-query.yaml
• plugins/1c/connector/policies/change-workflow.yaml

Cross-Cutting: Evals

• scripts/validate_evals.py
• scripts/run_1c_smoke_eval.py
• docs/runbooks/evals.md

Cross-Cutting: Observability And Quality Logging

• Add centralized access, turn, model-call, tool-call, and retrieval logging.
• Propagate trace_id and request_id across agent, adapter, MCP, and model routes.
• Add redaction, retention, and export rules for quality analysis.
• Add reviewed quality labels and aggregate reports for regressions and route comparisons.

Current plan:

• docs/quality-audit-logging-plan.md