Initial start-scripts commit

start-qwen-14b.sh

@@ -0,0 +1,29 @@
+#!/usr/bin/env bash
+set -e
+
+# 1. Ferma e rimuovi TUTTI i container Docker esistenti
+echo "==> Arresto e rimozione di tutti i container Docker..."
+sudo docker rm -f $(sudo docker ps -aq) 2>/dev/null || true
+
+# 2. Prepara la cartella cache per Hugging Face
+mkdir -p /home/azurian/.cache/huggingface
+sudo chmod -R 777 /home/azurian/.cache/huggingface 2>/dev/null || true
+
+# 3. Avvia Qwen 2.5 14B con Tool Calling abilitato
+echo "==> Avvio del container vLLM Qwen 2.5 14B con Tool Calling..."
+sudo docker run -d --restart unless-stopped \
+  --name vllm-qwen \
+  --gpus all \
+  --ipc=host \
+  -p 8001:8000 \
+  -v /home/azurian/.cache/huggingface:/root/.cache/huggingface \
+  vllm/vllm-openai:latest \
+  --model Qwen/Qwen2.5-14B-Instruct-GPTQ-Int4 \
+  --gpu-memory-utilization 0.25 \
+  --max-model-len 8192 \
+  --port 8000 \
+  --enable-auto-tool-choice \
+  --tool-call-parser hermes
+
+# 4. Monitora i log di inizializzazione
+sudo docker logs -f vllm-qwen