Erforschung von Qdrant: Ein umfassender Leitfaden zu Daten- und Vektorähnlichkeitssuche

Was ist Qdrant?

Qdrant (ausgesprochen: Quadrant) ist eine moderne Suchmaschine für Vektorsimilarität, die entwickelt wurde, um die Speicherung, Suche und Verwaltung von Punkten – Vektoren mit zusätzlichen Nutzdaten – zu erleichtern. Diese Plattform ist besonders darauf abgestimmt, erweiterte Filter zu unterstützen, was sie für eine Vielzahl von Anwendungen nützlich macht, darunter die Abstimmung neuronaler Netze, semantisch basierte Suchen und facettierte Suchfunktionen.

Qdrant ist Open-Source und wird unter der Apache License 2.0 veröffentlicht. Der Quellcode ist auf GitHub zugänglich.

Schritt-für-Schritt-Anleitung zur Verwendung von Qdrant

Im Folgenden werden wir den allgemeinen Plan besprechen, wie Sie Qdrant effektiv in Ihren Anwendungen nutzen können:

1. Erstellen Sie ein neues kostenloses Qdrant-Cloud-Cluster.
2. Verwenden Sie pdfplumber, um Text aus PDF-Dateien zu extrahieren und Embeddings zu erstellen.
3. Verwenden Sie Qdrant, um diese Embeddings zu indizieren.
4. Durchsuchen Sie die ähnlichsten Embeddings basierend auf Benutzereingaben.
5. Generieren Sie eine Antwort basierend auf den am besten übereinstimmenden Embeddings.

Erstellen eines neuen kostenlosen Qdrant-Cloud-Clusters

Um loszulegen, besuchen Sie qdrant.tech und richten Sie ein neues Konto ein. Nach der Anmeldung erstellen Sie ein neues Cloud-Cluster. Sie können den benötigten Python-Code zur Verbindung mit Ihrem Cluster erhalten, indem Sie auf die Schaltfläche "Codebeispiel" klicken; Ihr API-Schlüssel ist unter dem Tab "Zugriff" zu finden.

Verbinden Sie sich anschließend mit Ihrem Cluster und erstellen Sie eine neue Sammlung. Achten Sie darauf, die Größe an die Dimension Ihrer Embeddings anzupassen. Für das OpenAI ada002-Embedding-Modell beträgt diese Dimension 1536.

Text aus PDF mit pdfplumber extrahieren

Wir werden pdfplumber verwenden, um Text aus unseren ausgewählten PDF-Dateien zu extrahieren. Die Komplexität der PDF-Strukturen kann diesen Prozess herausfordernd machen, aber mit dem richtigen Ansatz können Sie hervorragende Ergebnisse erzielen.

In diesem Beispiel arbeiten wir mit dem SpaceX Starship-Benutzerhandbuch; Sie können jedoch jede PDF-Datei verwenden. Es ist wichtig, den extrahierten Text in Abschnitte von maximal 500 Zeichen zu teilen. Dieses Chunking hilft, einen verständlichen Kontext für unseren Frage-Antwort-Chatbot zu schaffen, wodurch wir mehrere Abschnitte innerhalb des 4k Token-Limits des OpenAI-Modells effektiv einbetten können.

Das OpenAI ada002-Embedding-Modell wird verwendet, um Embeddings für jeden Abschnitt zu erstellen und die Kontextbewusstheit für unsere KI-Interaktionen zu verbessern.

Indizierung von Embeddings mit Qdrant

Fügen Sie alle generierten Embedding-Punkte in Ihre Qdrant-Sammlung ein. Dies wird ein durchsuchbares Index von Embeddings erstellen, die später basierend auf Benutzereingaben abgefragt werden können.

Suche nach ähnlichen Embeddings basierend auf Benutzereingaben

Nachdem die Indizierung abgeschlossen ist, können Sie fortfahren, um die ähnlichsten Embeddings mithilfe von Benutzereingaben zu suchen und die leistungsstarken Fähigkeiten von Qdrant zu nutzen.

Generierung von Antworten aus ähnlichen Embeddings

Mit den Benutzereingaben können Sie die Datenbank nach ähnlichen Embeddings abfragen und den abgerufenen Kontext nutzen, um eine ansprechende Antwort zu generieren. In diesem Schritt können Sie das neue OpenAI gpt-3.5-turbo-Modell anwenden, um Ihre Antworten basierend auf dem Kontext der ähnlichen Embeddings zu formulieren.

Ist es wert, Qdrant zu verwenden?

Absolut! Die von Qdrant angebotenen Möglichkeiten ermöglichen es Ihnen, Ihre GPT-3- oder GPT-3.5-Interaktionen mit umfangreichem Wissen zu bereichern, was Ihre Anwendungen bemerkenswert vielseitig macht. Darüber hinaus erleichtert Qdrant den Aufbau komplexer Bild-, Audio- und Videosuchsysteme.

Qdrant bietet außergewöhnliche Steuerungen für Abfragefilter, Sammlungen, Optimierer und viele andere Funktionen, die das Gesamterlebnis der Benutzer verbessern.

Für Interessierte ist der vollständige Code in Bezug auf dieses Tutorial auf GitHub verfügbar. Fühlen Sie sich frei, diese Beispiele zu nutzen und dieses System in Ihre Anwendungen zu integrieren.

Nehmen Sie an KI-Hackathons teil

Wir ermutigen Sie, Ihre neu erworbenen Fähigkeiten während unserer KI-Hackathons zu testen. Diese Veranstaltungen sind hervorragende Gelegenheiten, um mit Gleichgesinnten aus der ganzen Welt zu netzwerken, funktionale Prototypen zu erstellen und möglicherweise Ihre nächste große Startup-Idee zu starten. Bleiben Sie auf dem Laufenden über bevorstehende Veranstaltungen!