#!/usr/bin/env bash
set -e

# 1. Ferma e rimuovi TUTTI i container Docker esistenti
echo "==> Arresto e rimozione di tutti i container Docker..."
sudo docker rm -f $(sudo docker ps -aq) 2>/dev/null || true

# 2. Prepara la cartella cache per Hugging Face
mkdir -p /home/azurian/.cache/huggingface
sudo chmod -R 777 /home/azurian/.cache/huggingface 2>/dev/null || true

# 3. Avvia Qwen 2.5 14B con Tool Calling abilitato
echo "==> Avvio del container vLLM Qwen 2.5 14B con Tool Calling..."
sudo docker run -d --restart unless-stopped \
  --name vllm-qwen \
  --gpus all \
  --ipc=host \
  -p 8001:8000 \
  -v /home/azurian/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-14B-Instruct-GPTQ-Int4 \
  --gpu-memory-utilization 0.25 \
  --max-model-len 8192 \
  --port 8000 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

# 4. Monitora i log di inizializzazione
sudo docker logs -f vllm-qwen