Files
llm/docs/research/plugin-model-selection.md
T

2.3 KiB
Raw Blame History

Plugin Model Selection

Дата: 2026-06-19.

Так как VRAM docker-gpu.cin.su пока не подтверждена по SSH, выбран не абсолютный максимум, а практичный набор сильных моделей, которые разумно пробовать на локальном GPU-хосте.

Plugin Model Why
text Qwen/Qwen3-4B-Instruct-2507 4B, Apache-2.0, длинный контекст, хороший общий assistant baseline.
translation NiuTrans/LMT-60-4B Apache-2.0, специализированная multilingual translation модель, легче 8B-варианта.
audio openai/whisper-large-v3-turbo MIT, сильный ASR/speech translation baseline, небольшой размер относительно LLM.
video Qwen/Qwen2.5-VL-7B-Instruct Apache-2.0, image/video/document understanding, long-video claims in model card.
image stabilityai/stable-diffusion-xl-base-1.0 + diffusers/stable-diffusion-xl-1.0-inpainting-0.1 Практичный SDXL baseline для генерации и masked editing на RTX 4090; качаем fp16 diffusers-вариант.
1c lmstudio-community/Qwen3-Coder-30B-A3B-Instruct-GGUF лучший найденный кандидат для code/agentic/repository/tool-use; 1С-качество добираем RAG/tools/LoRA.

Bundle

Manifest: plugins/model-bundle.yaml.

Download:

powershell -NoProfile -ExecutionPolicy Bypass -File scripts/download_plugin_model_bundle.ps1

If the large 1C GGUF should be skipped:

powershell -NoProfile -ExecutionPolicy Bypass -File scripts/download_plugin_model_bundle.ps1 -SkipLarge1C

If image models should be skipped:

powershell -NoProfile -ExecutionPolicy Bypass -File scripts/download_plugin_model_bundle.ps1 -SkipImage

Sources