Comienza con Cohere: Genera, Inserta y Reorganiza Modelos

Introducción a Cohere: Liberando el Procesamiento de Lenguaje Impulsado por IA

Cohere proporciona una API poderosa que integra sin problemas capacidades de procesamiento de lenguaje de última generación en cualquier sistema. Al aprovechar un entrenamiento extenso, desarrolla modelos de lenguaje a gran escala y los encapsula dentro de una API intuitiva. Los usuarios pueden personalizar estos enormes modelos para adaptarse a sus casos de uso específicos, lo que les permite entrenar los modelos utilizando sus propios datos. Esto significa que Cohere se encarga de las complejas tareas asociadas con la acumulación de grandes volúmenes de datos de texto, la gestión de arquitecturas de redes neuronales dinámicas, la supervisión de entrenamientos distribuidos y asegurando que los modelos estén disponibles para su uso las 24 horas del día.

Descripción General de los Modelos de Cohere

Cohere ofrece una variedad de modelos que se pueden entrenar y adaptar para cumplir con requisitos específicos. Esta sección te guiará a través del uso de tres modelos principales: Generar, Incrustar y Reordenar.

Modelo Cohere Generar

El modelo Cohere Generar crea texto basado en una entrada dada. Intenta discernir la mejor continuación para un texto. Por ejemplo, cuando se le hace una pregunta, genera una respuesta, lo que lo convierte en un modelo ideal para tareas como la resumización y el desarrollo de chatbots.

Modelo Cohere Incrustar

Cohere Incrustar procesa un texto y produce una incrustación, un conjunto de números de punto flotante (vectores) que encapsulan información semántica relacionada con el texto representado. Esta característica permite que los modelos de IA desarrollen una comprensión del lenguaje humano, lo que beneficia a los sistemas de clasificación y búsqueda semántica. Para más información, consulta la documentación.

Modelo Cohere Reordenar

El modelo Cohere Reordenar acepta una lista de documentos junto con una consulta y devuelve la misma lista, reorganizada en base a una puntuación de efectividad derivada de la similitud semántica con la consulta. Esta funcionalidad mejora significativamente los modelos de búsqueda tradicionales que generalmente dependen de la coincidencia de palabras clave.

La Importancia de la Búsqueda Basada en Semántica

A pesar de su dominio de larga data, Google a menudo ofrece resultados subóptimos e irrelevantes. La aparición de sistemas de búsqueda impulsados por IA representa un cambio fundamental respecto a los enfoques tradicionales basados en palabras clave. Por ejemplo, una consulta matizada como "romper el hielo" produce ya sea una búsqueda estándar con contenido abrumador o una opción de "me siento afortunado" para búsquedas seguras.

Por otro lado, los sistemas de búsqueda basados en semántica destacan en captar la esencia de la consulta de un usuario, resultando en resultados más relevantes y precisos. El endpoint Reordenar de Cohere desempeña un papel vital en esta transición, logrando resultados superiores en comparación con las búsquedas tradicionales basadas en incrustaciones.

Los datos indican que las búsquedas léxicas producen resultados relevantes para aproximadamente el 44% de las consultas. Sin embargo, las búsquedas semánticas basadas en incrustaciones mejoran esta cifra al 65%, y Reordenar mejora aún más el rendimiento, produciendo resultados pertinentes para alrededor del 72% de las consultas. Reordenar también admite búsquedas basadas en incrustaciones, mejorando los resultados generales.

Comenzando con Cohere

Requisitos

• Python 3.9+
• Clave de API de Cohere

Comienza creando una nueva carpeta e instalando las bibliotecas necesarias. Crea un archivo .env para guardar tu clave de API de Cohere.

Construyendo la Aplicación

Esta sección describe los pasos para crear una aplicación Streamlit que muestre las capacidades de cada modelo de Cohere.

Paso 1: Agregando Cohere Generar

Primero, pidamos al modelo Cohere Generar que recomiende una lista de libros basada en un tema seleccionado. Guarda esta lista en un archivo output.txt para su uso posterior en otros modelos. En el archivo main.py, implementa el código necesario.

python
# ejecuta tu aplicación Streamlit usando:
streamlit run main.py

Accede a tu aplicación en localhost:8501, selecciona un tema y solicita al modelo. Los resultados se mostrarán y se guardarán en la carpeta raíz de tu aplicación.

Paso 2: Agregando Cohere Incrustar

El siguiente paso implica utilizar el modelo Incrustar para generar incrustaciones basadas en los datos creados anteriormente. Agrega el código relevante al final de tu archivo main.py, guarda los cambios y actualiza tu aplicación.

Este código leerá output.txt, generará incrustaciones y las mostrará en tu terminal para propósitos educativos. Almacenará las incrustaciones en embeds.ann y creará incrustaciones para una consulta para facilitar las búsquedas semánticas.

Paso 3: Agregando Cohere Reordenar

Finalmente, formularemos una consulta e instruiremos al modelo Reordenar para que devuelva resultados clasificados. Inserta el código correspondiente al final de tu archivo main.py. Después de guardar y actualizar tu aplicación, haz otra consulta para ver los resultados clasificados.

Conclusión

Este tutorial te presentó el uso de los modelos Generar, Incrustar y Reordenar de Cohere en una sola aplicación. Aprendiste a crear datos y consultarlos de manera óptima, lo que puede mejorar significativamente los sistemas de búsqueda existentes para grandes organizaciones. Además, este conocimiento puede mejorar la experiencia de los usuarios al navegar por la web.

Una vez que hayas desplegado esta aplicación en GitHub, puedes conectarla fácilmente a la plataforma Streamlit para un acceso más amplio. Para obtener instrucciones detalladas, consulta la documentación asociada sobre el despliegue.