Explorando Qdrant: Una Guía Completa sobre la Búsqueda de Similitud de Datos y Vectores

¿Qué es Qdrant?

Qdrant (se lee: cuadrante) es un motor de búsqueda de similitud vectorial de última generación diseñado para facilitar el almacenamiento, búsqueda y gestión de puntos: vectores acompañados de cargas adicionales. Esta plataforma está particularmente diseñada para soportar filtrados extendidos, lo que la hace altamente útil para una variedad de aplicaciones, incluyendo la coincidencia de redes neuronales, búsquedas basadas en semántica y capacidades de búsqueda facetada.

Qdrant es de código abierto y se publica bajo la Licencia Apache 2.0. El código fuente está accesible en GitHub.

Guía Paso a Paso sobre el Uso de Qdrant

A continuación, discutiremos el plan general sobre cómo aprovechar Qdrant de manera efectiva en tus aplicaciones:

1. Crea un nuevo clúster en la nube de Qdrant de forma gratuita.
2. Utiliza pdfplumber para extraer texto de archivos PDF y crear embeddings.
3. Usa Qdrant para indexar estos embeddings.
4. Busca los embeddings más similares basados en la entrada del usuario.
5. Genera una respuesta basada en los embeddings más cercanos.

Crea un Nuevo Clúster en la Nube de Qdrant de Forma Gratuita

Para comenzar, visita qdrant.tech y configura una nueva cuenta. Después de iniciar sesión, crea un nuevo clúster en la nube. Puedes obtener el código de Python necesario para conectar con tu clúster haciendo clic en el botón "Ejemplo de Código"; tu clave API se puede encontrar en la pestaña de Acceso.

A continuación, conéctate a tu clúster y establece una nueva colección. Asegúrate de establecer el tamaño para que coincida con la dimensión de tus embeddings. Para el modelo de embeddings OpenAI ada002, esta dimensión es 1536.

Extraer Texto de PDF Usando pdfplumber

Utilizaremos pdfplumber para extraer texto de nuestros archivos PDF elegidos. La complejidad de las estructuras PDF puede dificultar este proceso, pero con el enfoque adecuado, puedes lograr excelentes resultados.

Para este ejemplo, trabajaremos con la Guía de Usuarios de SpaceX Starship; sin embargo, puedes usar cualquier archivo PDF. Es esencial dividir el texto extraído en fragmentos de un máximo de 500 caracteres. Este fraccionamiento ayuda a crear un contexto comprensible para nuestro chatbot de preguntas y respuestas, permitiéndonos integrar múltiples fragmentos dentro del límite de 4k tokens del modelo de OpenAI.

Se empleará el modelo de embeddings OpenAI ada002 para generar embeddings para cada fragmento, mejorando la conciencia del contexto para nuestras interacciones de IA.

Indexando Embeddings con Qdrant

Inserta todos los puntos de embeddings generados en tu colección de Qdrant. Esto creará un índice de embeddings que se pueden consultar posteriormente basado en la entrada del usuario.

Buscando Embeddings Similares Basados en la Entrada del Usuario

Una vez que la indexación esté completa, puedes continuar buscando los embeddings más similares utilizando la entrada del usuario, aprovechando las poderosas capacidades de Qdrant.

Generando Respuestas a Partir de Embeddings Similares

Con la entrada del usuario en mano, puedes consultar la base de datos en busca de embeddings similares y utilizar el contexto recuperado para generar una respuesta atractiva. En este paso, puedes aplicar el nuevo modelo de OpenAI gpt-3.5-turbo para formular tus respuestas basado en el contexto de los embeddings similares.

¿Vale la Pena Usar Qdrant?

¡Absolutamente! Las capacidades ofrecidas por Qdrant te permiten enriquecer tus interacciones con GPT-3 o GPT-3.5 con un conocimiento extenso, haciendo que tus aplicaciones sean notablemente versátiles. Además, Qdrant facilita la construcción de sistemas de búsqueda sofisticados de imágenes, audio y video.

Qdrant proporciona controles excepcionales de filtros de consulta, colecciones, optimizadores y muchas otras características que mejoran la experiencia general del usuario.

Para aquellos interesados, el código completo relacionado con este tutorial está disponible en GitHub. Siéntete libre de utilizar estos ejemplos e integrar este sistema en tus aplicaciones.

Únete a Hackatones de IA

Te animamos a poner a prueba tus nuevas habilidades durante nuestros Hackatones de IA. Estos eventos son oportunidades excelentes para hacer networking con personas afines de todo el mundo, construir prototipos funcionales y potencialmente dar inicio a tu próxima gran idea de startup. ¡Asegúrate de estar atento a los próximos eventos!