API de noticias para capacitación en aprendizaje automático

Un equipo de fintech creó un clasificador de opinión sobre las noticias utilizando 15.000 titulares de noticias financieras recopilados a través de las búsquedas de Scavio en Google News (75 dólares en total). Buscaron 500 tickers de acciones con filtrado por rango de fechas, recopilando 30 titulares por ticker. El modelo resultante logró una precisión del 87% en la clasificación de sentimientos, comparable a los modelos entrenados con datos de NewsAPI de 449 dólares al mes.

API de noticias para capacitación en aprendizaje automático es relevante para Google. Scavio proporciona una API unificada para acceder a datos de todas estas plataformas.

Los equipos de ML que crean modelos de PNL necesitan grandes conjuntos de datos de noticias. Las opciones y sus costos: NewsAPI.org ($449/mes para uso comercial, 500 solicitudes/día), GNews ($84/mes para 750 000 artículos), Bing News API ($7/1000 consultas), GDELT (gratis pero requiere procesar volcados masivos de datos) y API de búsqueda ($0,005/consulta para resultados de Google News a través de Scavio). Para la creación de conjuntos de datos, la consideración clave es la calidad de los datos versus el costo. Las API de noticias dedicadas devuelven metadatos de artículos limpios (título, autor, fuente, fecha de publicación, contenido) y admiten el filtrado por rango de fechas, categoría y fuente. Las API de búsqueda devuelven noticias como resultados de búsqueda: título, fragmento, URL y fecha de publicación, pero no el texto completo del artículo. Para muchos casos de uso de ML (sentimiento de titulares, clasificación de fuentes, detección de temas), los datos de los resultados de búsqueda son suficientes. Obtiene el título, un fragmento de 150 caracteres, el nombre de la fuente y la fecha, suficiente para entrenar clasificadores. Para tareas que requieren el texto completo del artículo, necesita una API de noticias dedicada o un paso de extracción de contenido independiente. Comparación de costos para 10,000 ejemplos de capacitación: NewsAPI = $449/mes mínimo (pagando enormemente por un conjunto de datos único), Scavio = $50 (10,000 consultas a $0,005 cada una). Para reentrenamiento continuo del modelo con ingesta diaria de noticias (100 consultas/día): NewsAPI = $449/mes, Scavio = $15/mes. La diferencia de costo de 30 veces hace que las API de búsqueda sean la opción pragmática para los equipos que pueden trabajar con datos a nivel de títulos y fragmentos.