Come installare Shell-GPT con Deepseek Coder v2

Dopo l’annuncio di Deepseek coder, che prometteva prestazioni e qualità sorprendenti nella generazione di codice, ero curioso di provarlo in locale. Ho trovato questo video su YouTube che spiegava un po’ come installare deepseek-coder-v2 con shell-gpt e ollama / litellm:

Tuttavia, nel video l’autore diceva che stava avendo difficoltà a farlo funzionare correttamente in locale e che alla fine aveva semplicemente ripiegato sull’uso dell’API della piattaforma.

All’epoca non ero riuscito a fare ulteriori test in locale perché il mio portatile con 16GB di RAM non era sufficiente per gestire i modelli deepseek-coder-v2, che richiedono almeno 32GB di RAM. Ora però mi ritrovo con 32GB di RAM disponibili, quindi ho ricominciato a cercare di far funzionare deepseek-coder-v2 in locale con ollama e litellm e con shell-gpt. E finalmente ci sono riuscito! Ecco come ho fatto su Ubuntu 24.04 in WSL2 su Windows 11, con Python 3.12:

Installare ollama

curl -fsSL https://ollama.com/install.sh | sh

Installare l’immagine deepseek-coder-v2

ollama pull deepseek-coder-v2

(può richiedere un po’ di tempo, quindi vai a prenderti un caffè!)

Installare shell-gpt con litellm

pipx install shell-gpt[litellm]

Ottenere una chiave API Deepseek

1. Registrati e accedi alla piattaforma aperta Deepseek
2. Vai al menu delle chiavi API e fai clic su Crea chiave API
3. Inserisci il nome della chiave API nella finestra pop-up (ad es. Shell GPT)
4. Copia la chiave API generata e salvala in un posto da cui tu possa recuperarla facilmente

Personalizzare la configurazione di Shell GPT

nano ~/.config/shell_gpt/.sgptrc

Configura con questi valori:

CHAT_CACHE_PATH=/tmp/chat_cache
CACHE_PATH=/tmp/cache
CHAT_CACHE_LENGTH=100
CACHE_LENGTH=100
REQUEST_TIMEOUT=60
DEFAULT_MODEL=ollama/deepseek-coder-v2
DEFAULT_COLOR=magenta
ROLE_STORAGE_PATH=~/.config/shell_gpt/roles
DEFAULT_EXECUTE_SHELL_CMD=false
DISABLE_STREAMING=false
CODE_THEME=dracula
OPENAI_FUNCTIONS_PATH=~/.config/shell_gpt/functions
OPENAI_USE_FUNCTIONS=true
SHOW_FUNCTIONS_OUTPUT=false
API_BASE_URL=http://127.0.0.1:11434
PRETTIFY_MARKDOWN=true
USE_LITELLM=true
SHELL_INTERACTION=true
OS_NAME=auto
SHELL_NAME=auto
OPENAI_API_KEY=deepseek-api-key-here

Assicurati di:

1. imposta DEFAULT_MODEL su ollama/deepseek-coder-v2
2. imposta API_BASE_URL su http://127.0.0.1:11434 (oppure sull’IP:PORT su cui è in esecuzione la tua istanza di ollama)
3. imposta USE_LITELLM su true
4. incolla la tua chiave API Deepseek come valore della variabile d’ambiente OPENAI_API_KEY

Ora dovresti essere in grado di eseguire sgpt hello e ottenere una risposta dal tuo deepseek-coder-v2 locale!