Loslegen mit Cohere: Tutorial zu Generieren, Einbetten und Neuordnen von Modellen

Cohere: Revolutionierung der Sprachverarbeitung mit KI

Cohere bietet eine leistungsstarke API, die modernste Sprachverarbeitung in jedes System integriert. Durch umfangreiches Training entwickelt es groß angelegte Sprachmodelle, die in einer intuitiven API verpackt sind. Das bedeutet, dass Benutzer massive Modelle an ihre spezifischen Anwendungsfälle anpassen und diese mit ihren eigenen Daten trainieren können. Cohere bewältigt komplexe Aufgaben wie das Sammeln großer Textmengen, die Überwachung verteilter Schulungen und die Sicherstellung, dass Modelle rund um die Uhr verfügbar sind.

Erforschung der Cohere-Modelle

1. Generieren-Modell

Dokumentation: Cohere Generate erstellt Texte basierend auf einem Eingabe, indem es im Wesentlichen die beste Möglichkeit errät, einen Text fortzusetzen. Es zeichnet sich darin aus, Antworten auf Fragen zu generieren, was es ideal für die Zusammenfassung und den Aufbau von Chatbots macht.

2. Einbetten-Modell

Dokumentation: Cohere Embed verarbeitet Texte, um Embeddings zu generieren – eine Reihe von Vektoren, die semantische Informationen kapseln. Diese Fähigkeit verbessert das Verständnis von KI-Modellen für die menschliche Sprache und kommt Klassifikations- und semantischen Suchsystemen zugute.

3. Rerank-Modell

Dokumentation: Das Rerank-Modell verarbeitet eine Liste von Dokumenten und eine Abfrage und gibt die Liste neu organisiert basierend auf der semantischen Ähnlichkeit zur Abfrage zurück. Diese Funktionalität verbessert konventionelle Suchsysteme, die auf Keyword-Matching angewiesen sind, erheblich.

Die Bedeutung von semantischer Suche

Seit Jahrzehnten dominiert Google als die führende Suchmaschine, obwohl oft suboptimale Ergebnisse und irrelevante Inhalte geliefert werden. KI-gestützte Suchmethoden stellen dieses traditionelle Modell in Frage. Wenn wir beispielsweise den nuancierten Suchbegriff 'das Eis brechen' betrachten. Google bietet entweder umfangreiche Ergebnisse oder ein Glücksspiel mit der Option 'Ich fühle mich glücklich'. Semantische Suchanfragen verstehen Benutzerintentionen besser und liefern relevantere Ergebnisse.

Die Rerank-Endpunkt von Cohere fungiert als Brücke in diesem Paradigmenwechsel und übertrifft die Ergebnisse der einbettungsbasierten Suche mit nur einer einzigen Codezeilenänderung in Ihrer Anwendung. Daten zeigen, dass lexikalische Suchen für etwa 44 % der Anfragen relevante Ergebnisse liefern, während die einbettungsbasierte semantische Suche dies auf 65 % verbessert, und Rerank erreicht eine Genauigkeit von etwa 72 % bei der Präsentation relevanter Ergebnisse.

Einrichten von Cohere

Voraussetzungen

• Python 3.9+
• Cohere API-Schlüssel

Beginnen Sie damit, einen neuen Ordner zu erstellen und die erforderlichen Bibliotheken zu installieren, und erstellen Sie dann eine .env-Datei, um Ihren Cohere API-Schlüssel zu sichern.

Erstellen der Streamlit-App

Wir werden unsere Streamlit-App in drei Schritten erstellen, wobei jeder Schritt ein bestimmtes Cohere-Modell zeigt, während die Funktionen der App erweitert werden.

Schritt 1: Hinzufügen von Cohere Generate

In main.py laden Sie die Bibliotheken und Ihren API-Schlüssel. Fragen Sie das Modell nach Buchempfehlungen basierend auf einem Thema und speichern Sie die Ergebnisse in output.txt zur späteren Verwendung. Führen Sie die App aus und wählen Sie ein Thema aus, um die Ergebnisse zu sehen.

Schritt 2: Hinzufügen von Cohere Embed

Als nächstes werden wir Embeddings mit den zuvor erfassten Daten generieren. Aktualisieren Sie main.py, um Inhalte aus output.txt zu laden, Embeddings zu erstellen und diese zu Schulungszwecken in Ihrem Terminal anzuzeigen. Dieser Prozess erstellt Embeddings für eine Abfrage, um semantische Suchen zu ermöglichen.

Schritt 3: Hinzufügen von Cohere Rerank

Schließlich implementieren Sie das Rerank-Modell, indem Sie eine Abfrage formulieren, um rangierte Ergebnisse zu erhalten. Speichern Sie und aktualisieren Sie die App, um die verbesserten Ergebnisse zu sehen.

Abschließende Gedanken

In diesem Tutorial haben wir gelernt, wie man die Modelle Generate, Embed und Rerank von Cohere zur Verbesserung von Datenabfragen in einer App verwendet. Dieses Wissen kann bestehende Suchsysteme für Unternehmen und Organisationen mit großen Datensätzen verbessern oder die Benutzererfahrungen im Internet erweitern. Sie können diese App problemlos bereitstellen, indem Sie sie auf GitHub hochladen und mit Streamlit verknüpfen, indem Sie detaillierte Anleitungen befolgen, die verfügbar sind.

Für weitere Ressourcen zur Implementierung von Cohere sollten Sie deren offizielle Website und deren Dokumentation überprüfen.