Loslegen mit Cohere: Modelle Generieren, Einbetten und Neu Bewerten

Einführung in Cohere: Entfaltung der KI-gestützten Sprachverarbeitung

Cohere bietet eine leistungsstarke API, die modernste Sprachverarbeitungsfunktionen nahtlos in jedes System integriert. Durch umfangreiches Training entwickelt es groß angelegte Sprachmodelle und kapselt diese in einer intuitiven API. Benutzer können diese riesigen Modelle an ihre spezifischen Anwendungsfälle anpassen, indem sie die Modelle mit eigenen Daten trainieren. Das bedeutet, dass Cohere sich um die komplexen Aufgaben kümmert, die mit dem Sammeln großer Textmengen, dem Management dynamischer neuronaler Netzwerkarchitekturen, der Überwachung verteilten Trainings und der Gewährleistung, dass die Modelle rund um die Uhr verfügbar sind, verbunden sind.

Überblick über die Cohere-Modelle

Cohere bietet eine Vielzahl von Modellen, die trainiert und angepasst werden können, um spezifischen Anforderungen zu genügen. Dieser Abschnitt führt Sie durch die Verwendung von drei Hauptmodellen: Generate, Embed und Rerank.

Cohere Generate Modell

Das Cohere Generate Modell erstellt Text auf der Grundlage eines gegebenen Eingangs. Es versucht, die beste Fortsetzung für einen Textabschnitt zu erkennen. Wenn beispielsweise eine Frage gestellt wird, generiert es eine Antwort, was es zu einem idealen Modell für Aufgaben wie Zusammenfassungen und die Entwicklung von Chatbots macht.

Cohere Embed Modell

Cohere Embed verarbeitet einen Textabschnitt und erzeugt ein Embedding – eine Menge von Fließkommazahlen (Vektoren), die semantische Informationen in Bezug auf den dargestellten Text kapseln. Diese Funktion ermöglicht es KI-Modellen, ein Verständnis der menschlichen Sprache zu entwickeln, was Klassifikations- und semantische Suchsysteme begünstigt. Für weitere Informationen siehe die Dokumentation.

Cohere Rerank Modell

Das Cohere Rerank Modell akzeptiert eine Liste von Dokumenten zusammen mit einer Abfrage und gibt dieselbe Liste zurück, die basierend auf einem Effektivitätswert, der aus der semantischen Ähnlichkeit zur Abfrage abgeleitet wird, reorganisiert wurde. Diese Funktionalität verbessert traditionelle Suchmodelle erheblich, die typischerweise auf Schlüsselwortübereinstimmungen angewiesen sind.

Die Bedeutung der Semantischen Suche

Trotz ihrer langjährigen Dominanz liefert Google oft suboptimale und irrelevante Ergebnisse. Das Aufkommen von KI-gestützten Suchsystemen stellt einen entscheidenden Wandel von traditionellen, schlüsselwortbasierten Ansätzen dar. Ein nuancierter Abfrage wie "Eis brechen" führt beispielsweise entweder zu einer Standard-Suche mit überwältigendem Inhalt oder zu einer "Ich fühle mich glücklich"-Option für zuversichtliche Suchen.

Im Gegensatz dazu sind semantische Suchsysteme hervorragend darin, das Wesen der Anfrage eines Benutzers zu erfassen, was zu relevanteren und genaueren Ergebnissen führt. Der Rerank-Endpunkt von Cohere spielt eine entscheidende Rolle in diesem Übergang und erzielt bessere Ergebnisse im Vergleich zu traditionellen embedding-basierten Suchen.

Daten zeigen, dass lexikalische Suchen für etwa 44 % der Anfragen relevante Ergebnisse liefern. Embedding-basierte semantische Suchen verbessern diese Zahl auf 65 %, und Rerank erhöht die Leistung noch weiter, indem es für etwa 72 % der Anfragen relevante Ergebnisse liefert. Rerank unterstützt auch embedding-basierte Suchen und verbessert die Gesamtergebnisse.

Erste Schritte mit Cohere

Anforderungen

• Python 3.9+
• Cohere API-Schlüssel

Beginnen Sie, indem Sie einen neuen Ordner erstellen und die notwendigen Bibliotheken installieren. Erstellen Sie eine .env-Datei, um Ihren Cohere API-Schlüssel zu speichern.

Erstellung der Anwendung

In diesem Abschnitt werden die Schritte zum Erstellen einer Streamlit-App beschrieben, die die Funktionen jedes Cohere-Modells demonstriert.

Schritt 1: Hinzufügen von Cohere Generate

Zuerst lassen Sie uns das Cohere Generate-Modell bitten, eine Liste von Büchern basierend auf einem ausgewählten Thema zu empfehlen. Speichern Sie diese Liste in einer output.txt-Datei für die spätere Verwendung in anderen Modellen. Implementieren Sie den notwendigen Code in der main.py-Datei.

python
# Führen Sie Ihre Streamlit-App aus mit:
streamlit run main.py

Zugriff auf Ihre App unter localhost:8501, wählen Sie ein Thema aus, und bitten Sie das Modell darum. Die Ergebnisse werden angezeigt und im Stammverzeichnis Ihrer App gespeichert.

Schritt 2: Hinzufügen von Cohere Embed

Der nächste Schritt besteht darin, das Embed-Modell zu verwenden, um Embeddings basierend auf den zuvor erstellten Daten zu generieren. Fügen Sie den entsprechenden Code am Ende Ihrer main.py-Datei hinzu, speichern Sie die Änderungen und aktualisieren Sie Ihre App.

Dieser Code wird output.txt lesen, Embeddings generieren und diese zu Bildungszwecken in Ihrer Konsole anzeigen. Er speichert sie in embeds.ann und erstellt Embeddings für eine Abfrage, um semantische Suchen zu erleichtern.

Schritt 3: Hinzufügen von Cohere Rerank

Schließlich werden wir eine Abfrage formulieren und das Rerank-Modell anweisen, rangierte Ergebnisse zurückzugeben. Fügen Sie den entsprechenden Code am Ende Ihrer main.py-Datei ein. Nach dem Speichern und Aktualisieren Ihrer App stellen Sie eine weitere Abfrage, um die rangierten Ergebnisse zu sehen.

Fazit

Dieses Tutorial hat Ihnen die Verwendung der Cohere-Modelle Generate, Embed und Rerank in einer einzigen Anwendung vorgestellt. Sie haben gelernt, wie man Daten erstellt und diese optimal abfragt, was bestehende Suchsysteme für große Organisationen erheblich verbessern kann. Darüber hinaus kann dieses Wissen die Benutzererfahrung beim Surfen im Internet verbessern.

Sobald Sie diese App auf GitHub bereitgestellt haben, können Sie sie problemlos mit der Streamlit-Plattform verbinden, um einen breiteren Zugriff zu ermöglichen. Für detaillierte Anleitungen beziehen Sie sich auf die zugehörige Dokumentation zur Bereitstellung.