30 lines
948 B
Bash
Executable File
30 lines
948 B
Bash
Executable File
#!/usr/bin/env bash
|
|
set -e
|
|
|
|
# 1. Ferma e rimuovi TUTTI i container Docker esistenti
|
|
echo "==> Arresto e rimozione di tutti i container Docker..."
|
|
sudo docker rm -f $(sudo docker ps -aq) 2>/dev/null || true
|
|
|
|
# 2. Prepara la cartella cache per Hugging Face
|
|
mkdir -p /home/azurian/.cache/huggingface
|
|
sudo chmod -R 777 /home/azurian/.cache/huggingface 2>/dev/null || true
|
|
|
|
# 3. Avvia Qwen 2.5 14B con Tool Calling abilitato
|
|
echo "==> Avvio del container vLLM Qwen 2.5 14B con Tool Calling..."
|
|
sudo docker run -d --restart unless-stopped \
|
|
--name vllm-qwen \
|
|
--gpus all \
|
|
--ipc=host \
|
|
-p 8001:8000 \
|
|
-v /home/azurian/.cache/huggingface:/root/.cache/huggingface \
|
|
vllm/vllm-openai:latest \
|
|
--model Qwen/Qwen2.5-14B-Instruct-GPTQ-Int4 \
|
|
--gpu-memory-utilization 0.25 \
|
|
--max-model-len 8192 \
|
|
--port 8000 \
|
|
--enable-auto-tool-choice \
|
|
--tool-call-parser hermes
|
|
|
|
# 4. Monitora i log di inizializzazione
|
|
sudo docker logs -f vllm-qwen
|