Cómo resumir y encontrar artículos similares de ArXiv: Una guía completa

Introducción

El volumen de artículos de investigación en plataformas como arXiv puede ser abrumador para los académicos que intentan mantenerse actualizados con los últimos hallazgos. Este tutorial te guiará a través del proceso de resumir artículos largos de arXiv en puntos clave e identificar artículos similares. Estas acciones pueden ayudar a los investigadores a comprender rápidamente la esencia de un artículo y contextualizarlo dentro del discurso académico más amplio, asegurando una comprensión integral y evitando esfuerzos de investigación redundantes.

Este artículo se divide en dos partes:

• Generar las incrustaciones y construir el índice Annoy
• Consultar el índice para obtener artículos relacionados y generar resúmenes

Parte 1: Construcción del Índice Annoy

Requisitos Previos

Antes de comenzar, asegúrate de tener Python 3.9 y pip instalados en tu sistema.

Pasos

1. Instalación de Paquetes de Python

Instala los paquetes de Python necesarios usando pip: pip install sentence-transformers annoy. Alternativamente, puedes crear un archivo requirements.txt e instalar los paquetes usando el comando pip install -r requirements.txt.

2. Conjunto de Datos arXiv de Kaggle

Para proceder, crea una cuenta de Kaggle y descarga el conjunto de datos arXiv con metadatos limitados. Después de descargar, descomprime el archivo para encontrar un archivo JSON.

3. Preprocesar los Datos

Carga tu conjunto de datos y préprocesalo en el formato deseado usando Python. Lee el archivo JSON que contiene los metadatos de arXiv y concatena los títulos y resúmenes con un separador '[SEP]':

4. Generar Incrustaciones usando SBERT

Inicializa el modelo SBERT (en este caso, el modelo allenai-specter) y genera incrustaciones para tus datos preprocesados. Para aproximadamente ~2 millones de artículos de arXiv hasta diciembre de 2022, tomó:

• 8+ horas en RTX3080
• 6 horas en RTX4090
• 1.5 horas en A100 (nube)

5. Indexar Incrustaciones con Annoy

Una vez que tengas las incrustaciones, puedes indexarlas para una búsqueda rápida de similitud usando la biblioteca Annoy. Si no tienes una GPU y estás de acuerdo en usar la instantánea de arXiv hasta diciembre de 2022, puedes descargar los conjuntos de datos necesarios desde las siguientes URL públicas de S3:

• annoy_index.ann: Índice Annoy de 2M artículos de arXiv
• arxiv-metadata-oai-snapshot.json: Conjunto de datos de 2M artículos de arXiv
• embeddings.npy: Archivo numpy de incrustaciones que contiene las incrustaciones serializadas de todos los 2M artículos

Parte 2: Resumir y Buscar Artículos Similares en arXiv

Descripción

Este tutorial te guiará a través del proceso de resumir un artículo largo de arXiv en puntos clave, generando una idea basada en él e identificando artículos similares. Utilizaremos Sentence Transformers para las incrustaciones, Annoy para la indexación y la API de OpenAI para generar el resumen.

Requisitos Previos

Antes de continuar, asegúrate de tener:

• Python 3+
• Flask para crear un punto final
• Conocimiento de JSON, Annoy y Sentence Transformers

Pasos

Paso 1: Configurar e Instalar Dependencias

Primero, instala los paquetes requeridos usando pip:

pip install Flask requests

Paso 2: Cargar y Preprocesar Metadatos de arXiv

Para resumir y encontrar artículos similares, necesitamos los metadatos del conjunto de datos. Usa una función de preprocesamiento para cargar datos JSON, extraer títulos y resúmenes, y combinarlos en oraciones.

Paso 3: Generar Índice Annoy

Usando Annoy (Aproximación de Vecinos Más Cercanos Oh Yeah), carga un índice para buscar vectores similares en grandes conjuntos de datos.

Paso 4: Función de Búsqueda

Crea una función de búsqueda que tome una consulta, calcule su incrustación usando Sentence Transformers y encuentre las coincidencias más cercanas en el índice Annoy.

Paso 5: Mostrar Resultados

Una vez que encuentres las coincidencias más cercanas, asegúrate de que estén formateadas y mostradas correctamente.

Paso 6: Usar OpenAI para Resumir

Utiliza la API de OpenAI para generar un resumen del artículo de arXiv. Envía el título del artículo, el resumen y otro contenido relevante al modelo de OpenAI.

Paso 7: Punto Final de Flask

Crea un punto final de Flask que procese la URL de arXiv, resuma el artículo, busque artículos similares y devuelva la respuesta.

Paso 8: Ejecutar el Servidor Flask

Ejecuta tu aplicación Flask y navega a: http://127.0.0.1:5000/search?q=ARXIV_URL (reemplaza ARXIV_URL con la URL del artículo de arXiv que desees).

Conclusión

Ahora has creado una herramienta que resume artículos de arXiv y encuentra artículos similares en función de su contenido. Esta herramienta se puede extender con características adicionales o integrarse en aplicaciones más grandes para ayudar a investigadores y académicos.

¡Explora más tutoriales de IA para todos los niveles de experiencia y prueba tus habilidades en Hackatones de IA en la comunidad lablab.ai!

Referencia del Tutorial:

• Repositorio de Github