La BBC realizó un ejercicio que puso a prueba la veracidad de las respuestas de diversos asistentes de Inteligencia Artificial (IA), y entre sus hallazgos destacó que las respuestas producidas contenían inexactitudes significativas y distorsionaban el contenido editorial.
De acuerdo con la investigación dirigida por Oli Elliott, Científico Principal de Datos, del equipo Responsable de IA en la BBC realizada este mes, más de la mitad de preguntas sobre noticias presentaron ‘problemas significativos’ de algún tipo.
Otros resultados encontrados en el análisis fueron:
- 91% de las respuestas contuvieron al menos “algunos problemas”.
- 19% o una quinta parte de las respuestas que citaban contenidos de la BBC introdujeron errores factuales como afirmaciones, cifras y fechas incorrectas
- 13% de las citas de artículos de la BBC o poco más de un décimo estaban alteradas respecto a la fuente original o no aparecían en el artículo citado.
A este respecto, aunque se les pidió a las herramientas de IA que utilizaran artículos de BBC News como fuentes siempre que fuera posible, Perplexity citó en al menos una ocasión a la BBC como fuente en todas las respuestas, ChatGPT y Copilot en 70% de las respuestas, y Gemini en 53% de los casos.
“La BBC informa sobre conflictos y catástrofes naturales, elecciones e historias médicas y de salud. Errores como los mostrados en este informe podrían causar un daño inmediato a los usuarios que reciben noticias e información a través de estos asistentes (de IA)”, exponen los autores en las conclusiones.
Asimismo, señalaron que los asistentes de IA analizados tuvieron dificultades para diferenciar entre opiniones y hechos, editorializaron y a menudo no incluyeron el contexto esencial.
”Incluso cuando todas las afirmaciones de una respuesta sean correctas, este tipo de problemas puede dar lugar a respuestas engañosas o tendenciosas”, expusieron.
En este sentido, explicaron que para servir al público y preservar su confianza, así como para proteger el ecosistema de la información en general, estas herramientas tendrían que ser precisas y seguir normas editoriales básicas al responder a preguntas sobre las noticias.
Respuestas imprecisas
Respecto a la precisión, el análisis muestra que en todas las respuestas en las que se citaron artículos de la BBC, se identificaron 45 casos en los que los asistentes de IA reprodujeron incorrectamente fechas, cifras y hechos.
El análisis de BBC arroja que 62 respuestas incluían citas de la BBC, de las cuales ocho citas fueron alteradas respecto a la fuente original o no estaban presentes en el artículo citado, lo cual representa una tasa de 13%.
Las ocho citas alteradas estuvieron presentes en las respuestas de todos los asistentes excepto en ChatGPT.
Respecto a fuentes de información, aunque se animó a todos los asistentes de IA a utilizar BBC News, la elección de los artículos a menudo dio lugar a errores.
Se seleccionaron artículos antiguos de la BBC o páginas en directo, diseñadas para cubrir noticias de última hora, lo que llevó a la IA a cometer errores simples como resumir con precisión afirmaciones que fueron correctas en su momento, pero que han sido superadas por acontecimientos más recientes.
Periodistas revisan la IA
La investigación de la BBC consistió en dar a los asistentes de IA acceso al sitio web de la BBC y las respuestas fueron revisadas por periodistas de la BBC expertos en los temas, en función de criterios como precisión, imparcialidad y la forma en que representaban el contenido de la BBC.
El equipo Responsable de IA en la BBC, se comprometió a repetir la investigación en un futuro próximo para saber si los asistentes de IA mejoran con el tiempo y a analizar la posibilidad de incluir a otros editores y medios de comunicación en la siguiente fase de la investigación.
“Aunque esta investigación se ha centrado en la representación de los contenidos de la BBC por los asistentes de IA, no vemos por qué otros editores no se verían afectados de forma similar por los problemas que han sido identificados”, ahondaron.
