Explorer Qdrant : Un guide complet sur la recherche de données et la similarité de vecteurs

Qu'est-ce que Qdrant ?

Qdrant (prononcé : quadrant) est un moteur de recherche de similarité vectorielle de pointe conçu pour faciliter le stockage, la recherche et la gestion de points - vecteurs accompagnés de charges utiles supplémentaires. Cette plateforme est particulièrement adaptée pour soutenir un filtrage étendu, ce qui la rend très utile pour un éventail d'applications, y compris la correspondance de réseaux neuronaux, la recherche basée sur le sémantique et les capacités de recherche facettée.

Qdrant est open-source et publié sous la licence Apache 2.0. Le code source est accessible sur GitHub.

Guide Étape par Étape sur l'Utilisation de Qdrant

Ci-dessous, nous allons discuter du plan général sur la manière d'exploiter efficacement Qdrant dans vos applications :

1. Créer un nouveau cluster cloud Qdrant gratuit.
2. Utiliser pdfplumber pour extraire le texte des fichiers PDF et créer des embeddings.
3. Utiliser Qdrant pour indexer ces embeddings.
4. Rechercher les embeddings les plus similaires en fonction des entrées de l'utilisateur.
5. Générer une réponse en fonction des embeddings correspondants les plus proches.

Créer un Nouveau Cluster Cloud Qdrant Gratuit

Pour commencer, visitez qdrant.tech et créez un nouveau compte. Après vous être connecté, créez un nouveau cluster cloud. Vous pouvez obtenir le code Python nécessaire pour vous connecter à votre cluster en cliquant sur le bouton "Exemple de Code" ; votre clé API peut être trouvée sous l'onglet Accès.

Ensuite, connectez-vous à votre cluster et établissez une nouvelle collection. Assurez-vous de définir la taille pour correspondre à la dimension de vos embeddings. Pour le modèle d'embeddings OpenAI ada002, cette dimension est de 1536.

Extraire du Texte d'un PDF en Utilisant pdfplumber

Nous allons utiliser pdfplumber pour extraire du texte de nos fichiers PDF choisis. La complexité des structures PDF peut rendre ce processus difficile, mais avec la bonne approche, vous pouvez obtenir d'excellents résultats.

Pour cet exemple, nous allons travailler avec le Guide des Utilisateurs de SpaceX Starship ; cependant, vous pouvez utiliser n'importe quel fichier PDF. Il est essentiel de diviser le texte extrait en morceaux de maximum 500 caractères. Cette fragmentation aide à créer un contexte compréhensible pour notre chatbot de questions-réponses, nous permettant d'intégrer plusieurs morceaux dans la limite de 4k tokens du modèle OpenAI efficacement.

Le modèle d'embeddings OpenAI ada002 sera utilisé pour générer des embeddings pour chaque morceau, améliorant ainsi la conscience du contexte pour nos interactions IA.

Indexation des Embeddings avec Qdrant

Insérez tous les points d'embeddings générés dans votre collection Qdrant. Cela créera un index d'embeddings interrogeable qui pourra être consulté ultérieurement en fonction des entrées de l'utilisateur.

Recherche d'Embeddings Similaires Basée sur l'Entrée de l'Utilisateur

Une fois l'indexation terminée, vous pouvez procéder à la recherche des embeddings les plus similaires en utilisant l'entrée de l'utilisateur, en exploitant les puissantes capacités de Qdrant.

Génération de Réponses à Partir d'Embeddings Similaires

Avec l'entrée de l'utilisateur en main, vous pouvez interroger la base de données pour des embeddings similaires et utiliser le contexte récupéré pour générer une réponse engageante. À cette étape, vous pouvez appliquer le nouveau modèle OpenAI gpt-3.5-turbo pour formuler vos réponses en fonction du contexte des embeddings similaires.

Qdrant Vaut-il la Peine d'Être Utilisé ?

Absolument ! Les capacités offertes par Qdrant vous permettent d'enrichir vos interactions GPT-3 ou GPT-3.5 avec des connaissances approfondies, rendant vos applications remarquablement polyvalentes. De plus, Qdrant facilite la construction de systèmes de recherche sophistiqués pour les images, l'audio et la vidéo.

Qdrant offre des contrôles d'interface de requête exceptionnels, des collections, des optimisateurs et de nombreuses autres fonctionnalités qui améliorent l'expérience utilisateur globale.

Pour ceux qui sont intéressés, le code complet lié à ce tutoriel est disponible sur GitHub. N'hésitez pas à utiliser ces exemples et à intégrer ce système dans vos applications.

Rejoignez les Hackathons AI

Nous vous encourageons à tester vos nouvelles compétences lors de nos Hackathons AI. Ces événements sont d'excellentes occasions de réseauter avec des personnes partageant les mêmes idées du monde entier, de construire des prototypes fonctionnels, et potentiellement de donner vie à votre prochaine grande idée de startup. Restez à l'écoute pour les événements à venir !