IA LLAMA
Chat Bot local
Ce petit tuto a pour but de recréer un chat bot en local sur notre pc a l'aide LLAMA une ia déja près a l'emploie et aussi forte que Chat GPT
Vous pouvez suivre les etape du github suivant ou suivre les mienne
https://github.com/ggerganov/llama.cpp
Ce tuto sera pour un linux
Téléchargement des fihcier nécessaire
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make
Télécharger Le model iA LLAMA avec torrent et le magnet suivant : magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA
ATTENTION le model d'ia fait 235Go
avec les commande suivante pour télécharger sur arch linux le téléchargeur de torrent et lancer le téléchargerment
sudo pacman -S transmission-cli
ransmission-cli magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMAstopper le processus a la fin du téléchargement
déplacer les fichier télécharger dans le dossier model qui est dans llama.cpp
ls ./models
pour que dedans on y retrouve les fichier suivant :
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model
installer les dépence python
python3 -m pip install torch numpy sentencepiece