Commencer avec Cohere : Générer, Intégrer et Reclassement des Modèles

Introduction à Cohere : Libérer le traitement du langage alimenté par l'IA

Cohere fournit une API puissante qui intègre sans effort des capacités de traitement du langage à la pointe de la technologie dans n'importe quel système. En s'appuyant sur une vaste formation, elle développe des modèles de langage à grande échelle et les encapsule dans une API intuitive. Les utilisateurs peuvent personnaliser ces modèles massifs pour répondre à leurs cas d'utilisation spécifiques, leur permettant de former les modèles à l'aide de leurs propres données. Cela signifie que Cohere s'occupe des tâches complexes associées à la collecte de volumes importants de données textuelles, à la gestion des architectures de réseaux neuronaux dynamiques, à la supervision de l'entraînement distribué, et à garantir que les modèles sont disponibles pour usage 24 heures sur 24.

Aperçu des Modèles Cohere

Cohere propose une gamme de modèles qui peuvent être formés et adaptés pour répondre à des exigences spécifiques. Cette section vous guidera à travers l'utilisation de trois modèles principaux : Générer, Intégrer, et Reranker.

Modèle Cohere Générer

Le modèle Cohere Générer crée du texte basé sur une entrée donnée. Il tente de discerner la meilleure continuation pour un morceau de texte. Par exemple, lorsqu'on lui pose une question, il génère une réponse, ce qui en fait un modèle idéal pour des tâches comme la résumation et le développement de chatbots.

Modèle Cohere Intégrer

Cohere Intégrer traite un morceau de texte et produit une intégration—un ensemble de nombres à virgule flottante (vecteurs) qui encapsulent des informations sémantiques liées au texte représenté. Cette fonctionnalité permet aux modèles d'IA de développer une compréhension du langage humain, ce qui bénéficie aux systèmes de classification et de recherche sémantique. Pour plus d'informations, consultez la documentation.

Modèle Cohere Reranker

Le modèle Cohere Reranker accepte une liste de documents accompagnée d'une requête et renvoie la même liste, réorganisée en fonction d'un score d'efficacité dérivé de la similarité sémantique avec la requête. Cette fonctionnalité améliore considérablement les modèles de recherche traditionnels qui dépendent généralement de la correspondance par mots-clés.

L'Importance de la Recherche Basée sur la Sémantique

Malgré sa domination de longue date, Google livre souvent des résultats sous-optimaux et non pertinents. L'émergence des systèmes de recherche alimentés par l'IA représente un tournant majeur par rapport aux approches traditionnelles basées sur les mots-clés. Par exemple, une requête nuancée comme "briser la glace" produit soit une recherche standard avec un contenu écrasant, soit une option "je me sens chanceux" pour des recherches audacieuses.

En revanche, les systèmes de recherche basés sur la sémantique excellent à saisir l'essence de la requête d'un utilisateur, ce qui donne lieu à des résultats plus pertinents et précis. Le point de terminaison Rerank de Cohere joue un rôle essentiel dans cette transition, atteignant des résultats supérieurs par rapport aux recherches traditionnelles basées sur l'intégration.

Les données indiquent que les recherches lexicales fournissent des résultats pertinents pour environ 44% des requêtes. Cependant, les recherches sémantiques basées sur l'intégration améliorent ce chiffre à 65%, et le Rerank renforce encore plus les performances, fournissant des résultats pertinents pour environ 72% des requêtes. Le Rerank prend également en charge les recherches basées sur l'intégration, améliorant ainsi les résultats globaux.

Commencer avec Cohere

Exigences

• Python 3.9+
• Clé API Cohere

Commencez par créer un nouveau dossier et installer les bibliothèques nécessaires. Créez un fichier .env pour sauvegarder votre clé API Cohere.

Construire l'Application

Cette section décrit les étapes pour créer une application Streamlit qui met en valeur les capacités de chaque modèle Cohere.

Étape 1 : Ajouter Cohere Générer

Tout d'abord, demandons au modèle Cohere Générer de recommander une liste de livres en fonction d'un sujet sélectionné. Enregistrez cette liste dans un fichier output.txt pour une utilisation ultérieure dans d'autres modèles. Dans le fichier main.py, implémentez le code nécessaire.

python
# exécutez votre application Streamlit en utilisant :
streamlit run main.py

Accédez à votre application à localhost:8501, sélectionnez un sujet et invitez le modèle. Les résultats seront affichés et enregistrés dans le dossier racine de votre application.

Étape 2 : Ajouter Cohere Intégrer

L'étape suivante consiste à utiliser le modèle Intégrer pour générer des intégrations basées sur les données créées précédemment. Ajoutez le code pertinent à la fin de votre fichier main.py, enregistrez les modifications et actualisez votre application.

Ce code lira output.txt, générera des intégrations et les affichera dans votre terminal à des fins éducatives. Il les stockera dans embeds.ann et créera des intégrations pour une requête afin de faciliter les recherches sémantiques.

Étape 3 : Ajouter Cohere Rerank

Enfin, nous allons formuler une requête et demander au modèle Rerank de renvoyer des résultats classés. Insérez le code correspondant à la fin de votre fichier main.py. Après avoir enregistré et actualisé votre application, effectuez une autre requête pour voir les résultats classés.

Conclusion

Ce tutoriel vous a introduit à l'utilisation des modèles Générer, Intégrer et Rerank de Cohere dans une seule application. Vous avez appris comment créer des données et les interroger de manière optimale, ce qui peut significativement améliorer les systèmes de recherche existants pour les grandes organisations. De plus, ces connaissances peuvent enrichir l'expérience des utilisateurs lors de la navigation sur le web.

Une fois que vous avez déployé cette application sur GitHub, vous pouvez facilement la connecter à la plateforme Streamlit pour un accès plus large. Pour des instructions détaillées, consultez la documentation associée au déploiement.