Tuto Ollama
Création d'un chatbot en local
Publié le 27/01/2024
Utilisation de Ollama, du modèle LLM phi et de la bibliothèque python ollama.
Présentation
Le logiciel Ollama
Ollama est un logiciel d'IA qui permet de faire tourner des modèles LLM sur sa machine en local. Il n'y a donc pas besoin d'être connecté à internet pour le faire tourner. Cela permet de garantir la confidentialité des données puisqu'il n'y a pas d'échanges vers une plateforme sur le cloud.
Dans le cadre de ce tutoriel, nous allons utiliser le modèle LLM phi car il n'est pas trop volumineux. Il est développé par Microsoft et fait moins de 2 GB. Il est possible d'installer d'autres modèles plus performants comme notamment Llama2, Mistral ou Codellama.
Nous allons aussi en profiter pour tester la bibliothèque python Ollama qui vient de sortir. Elle permet d'intégrer facilement Ollama dans un projet Python. Elle fonctionne avec Python 3.8+.
Installation
Sous Windows 10 avec WSL2 Linux Ubuntu
Le logiciel Ollama
Installation et lancement du serveur
Installer Ollama avec la commande curl
Dans un terminal powershell lancer WSL2 et saisir la commande suivante.
-
> curl https://ollama.ai/install.sh | sh
Lancer Ollama
Lancer le serveur Ollama avec la commande serve.
-
> ollama serve
Le modèle LLM phi
Description de la bibliothèque Phi-2
Installer le modèle phi
Ouvrir un autre terminal WSL2 et installer phi avec la commande pull.
-
> ollama pull phi
Lister les modèles installés
Lister les modèles LLM déjà installés avec la commande list.
-
> ollama list NAME ID SIZE MODIFIED phi:latest e2fd6321a5fe 1.6 GB 3 minutes ago
L'environnement virtuel
Pour y installer les bibliothèques externes spécifiques au projet
Installer le module venv
Installer venv avec la commande sudo apt install.
-
> sudo apt install python3.8-venv
Créer un environnement virtuel Python
Créer un nouveau répertoire pour le projet et créer dedans l'environnement env avec la commande venv.
-
> python3 -m venv env
Activer l'environnement virtuel
Activer l'environnement virtuel env avec la commande activate.
-
> source env/bin/activate
La bibliothèque Python Ollama
Ollama version 0.1.4 sous Pypi
Installer la bibliothèque Python Ollama
Installer Python Ollama avec la commande pip.
-
> pip install ollama
Le code Python
Sous Windows 10 avec WSL2 Linux Ubuntu
Le logiciel Ollama
Installation et lancement du serveur
Créer le module python
Créer le module chatbot.py.
-
import ollama class Chatbot(): def __init__(self): self.prompt = str() def run_chatbot(self): self.prompt = input("Your prompt:\n") stream = ollama.chat( model='phi', messages=[{'role': 'user', 'content': self.prompt}], stream=True, ) for chunk in stream: print(chunk['message']['content'], end='', flush=True) def main(): Chatbot().run_chatbot() if __name__ == '__main__': main()
Utilisation
Lancement et test de notre application
Lancement de notre application
Instructions à suivre
Lancer Ollama
Dans un premier terminal WSL2, lancer le serveur Ollama avec la commande serve.
-
> ollama serve
Lancer le module Python
Dans un 2e terminal WSL2, activer l'environnement virtuel et lancer chatbot.py.
-
> source env/bin/activate > python3 chatbot.py
Test de notre chatbot
Essayer avec le promt Hello world en python.
-
Your prompt: Write the code Hello world in python print("Hello, World!")
👏 Essai transformé!