Recherche de similarité vectorielle efficace avec Redis - Tutoriel

Amélioration des résultats de recherche grâce aux intégrations vectorielles et Redis

Dans le paysage numérique d'aujourd'hui, la capacité de rechercher des informations de manière efficace est cruciale. Les utilisateurs s'attendent à une fonctionnalité de recherche rapide et précise dans presque chaque application et site Web. Pour améliorer les résultats de recherche, les architectes et les développeurs doivent continuellement évaluer de nouvelles méthodes et architectures. L'une des approches les plus prometteuses consiste à utiliser des intégrations vectorielles générées par des modèles d'apprentissage profond, qui améliorent considérablement la précision et la pertinence des résultats de recherche.

Comprendre les intégrations vectorielles

De nombreuses organisations exploitent des techniques d'indexation pour convertir leurs données en un espace vectoriel. En représentant les données sous forme de vecteurs, des recherches par similarité peuvent être effectuées pour identifier les résultats les plus pertinents. Cet article explore comment les modèles d'apprentissage profond peuvent créer des intégrations vectorielles et comment Redis peut être utilisé pour des recherches efficaces et précises.

Création d'intégrations vectorielles

Pour illustrer le processus, nous allons travailler avec un ensemble de données de produits Amazon. Ce tutoriel décrit les étapes :

• Création d'intégrations vectorielles pour l'ensemble de données de produits Amazon
• Indexation avec Redis
• Recherche de vecteurs similaires

Configuration de votre environnement

Commencez par créer un nouveau répertoire et un carnet Jupyter. Téléchargez le fichier CSV de l'ensemble de données depuis la source désignée et stockez-le dans le ./data/ répertoire. Assurez-vous d'utiliser Python 3.8 et installez les dépendances nécessaires :

pip install redis pandas sentence-transformers

Chargement des données

Une fois les dépendances installées, importez les bibliothèques nécessaires :

import pandas as pd
import redis
from redis.commands.search.field import VectorField, TextField, TagField
from redis.commands.search.query import Query
from redis.commands.search.result import Result

Chargez les données des produits Amazon dans un DataFrame Pandas, en tronquant les champs de texte longs à un maximum de 512 caractères, ce qui est optimal pour le générateur d'intégration pré-entraîné :

df = pd.read_csv('./data/amazon_products.csv')
df['keywords'] = df['keywords'].str.slice(0, 512)
# Ajouter une clé primaire et filtrer les données

Connexion à Redis

Avec les données des produits chargées, connectez-vous à Redis. Vous pouvez utiliser une instance Redis gratuite de RedisLabs. Inscrivez-vous et créez une instance Redis, en notant les détails de connexion, y compris le mot de passe.

Génération d'intégrations

Nous allons générer des intégrations en utilisant le modèle de transformateur de phrase distilroberta-v1. Ce modèle peut être chargé pour créer les intégrations :

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('distilroberta-v1')
embeddings = model.encode(df['keywords'].tolist())

Fonctions utilitaires

Définissez des fonctions utilitaires pour charger les données des produits et créer des indices :

def load_product_data():
    # Fonction pour charger et traiter les données des produits
    pass

def create_index(vector_field):
    # Fonction pour créer un index Redis
    pass

Méthodes d'indexation

Deux méthodes d'indexation clés sont explorées :

• Indexation plate : Une méthode simple où tous les points de données sont indexés. Elle effectue une recherche par force brute, ce qui peut être intensif en calcul pour les grands ensembles de données.
• HNSW (Hierarchical Navigable Small World) : Un algorithme plus complexe qui organise les données dans une structure de graphe, fournissant une recherche efficace par voisin le plus proche approximatif.

Indexation et interrogation des données

Commencez par l'indexation plate :

create_index(VectorField('embeddings'))

Interrogez l'index pour trouver les 5 voisins les plus proches pour un vecteur de requête donné :

query_vector = embeddings[0]
query_result = redis_connection.search(Query(f'*=>[KNN 5 @embeddings $vec]').sort_by('distance'))

Maintenant, répétez la requête avec l'indexation HNSW :

create_index(VectorField('embeddings', 'HNSW'))

Avec cette configuration, interrogez pour trouver des articles similaires efficacement.

Pensées finales

Ce tutoriel démontre comment les intégrations vectorielles et Redis peuvent améliorer vos capacités de recherche. Pour une exploration plus approfondie, consultez le code complet dans notre dépôt GitHub, où vous trouverez également des contextes supplémentaires et des exemples, y compris comment effectuer des recherches par similarité avec des images.

En savoir plus sur les recherches améliorées par l'IA

La mise en œuvre de la technologie IA dans la recherche peut considérablement améliorer l'expérience utilisateur. Explorez divers modèles et approches pour découvrir ce qui convient le mieux à vos besoins.