This commit is contained in:
@@ -141,7 +141,7 @@ services:
|
||||
- --port
|
||||
- "8086"
|
||||
- --model
|
||||
- /models/qwen2.5-0.5b-instruct-q4_k_m.gguf
|
||||
- /models/Qwen3-8B-Q4_K_M.gguf
|
||||
- --alias
|
||||
- domovoy-lifeboat
|
||||
- --jinja
|
||||
@@ -150,9 +150,11 @@ services:
|
||||
- --n-gpu-layers
|
||||
- "0"
|
||||
- --threads
|
||||
- "4"
|
||||
- "32"
|
||||
- --parallel
|
||||
- "1"
|
||||
- --reasoning
|
||||
- "off"
|
||||
volumes:
|
||||
- llm_local_models:/models:ro
|
||||
healthcheck:
|
||||
|
||||
Reference in New Issue
Block a user