Optimización de ChatGPT para la clasificación de noticias falsas mediante FineTuning Optimization of ChatGPT for fake news classification through Fine-Tuning
Barra lateral del artículo
Contenido principal del artículo
Resumen
En la era de la información digital, la proliferación de noticias falsas se ha convertido en un desafío crítico para la sociedad, afectando la percepción pública y teniendo implicaciones significativas para la política, la salud pública y la seguridad. Este estudio se centra en la optimización de ChatGPT, un modelo de lenguaje desarrollado por OpenAI, para la tarea de clasificación de noticias falsas mediante el proceso de fine-tuning. Utilizando un conjunto de datos robusto y técnicas de preprocesamiento detalladas, se busca mejorar la precisión y la relevancia de las respuestas generadas por el modelo en el contexto de la verificación de hechos.La metodología incluye la preparación y preprocesamiento de datos, la conversión a formatos compatibles con la API de OpenAI, y un monitoreo cuidadoso del proceso de entrenamiento. Los resultados obtenidos muestran una alta precisión, aunque con un riesgo significativo de sobreajuste debido al tamaño limitado del conjunto de datos. Se discuten las implicaciones del modelo entrenado y se proponen futuras investigaciones para mejorar su robustez y generalización.
Descargas
Detalles del artículo
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Citas
Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
Lazer, D. M., Baum, M. A., Benkler, Y., Berinsky, A. J., Greenhill, K. M., Menczer, F., … & Zittrain, J. L. (2018). The science of fake news. Science, 359(6380), 1094–1096.
Schuster, T., Shah, D., Yeo, Y., Sun, T., & Barzilay, R. (2019). The limitations of stylometry for detecting machine-generated fake news. Computational Linguistics, 45(1), 1–12.
Vosoughi, S., Roy, D., & Aral, S. (2018). The spread of true and false news online. Science, 359(6380), 1146–1151.
Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., & Choi, Y. (2019). Hellaswag: Can a machine really finish your sentence? Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 4791–4800.
Shu, K., Sliva, A., Wang, S., Tang, J., & Liu, H. (2017). Fake news detection on social media: A data mining perspective. SIGKDD Explorations, 19(1), 22–36.
Zhou, X., & Zafarani, R. (2020). A survey of fake news: Fundamental theories, detection methods, and opportunities. ACM Computing Surveys, 53(5), 1–40.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Wei, J., Wang, X., Schuurmans, D., Bosma, M., & Leike, J. (2022). Chain-of-Thought prompting elicits reasoning in large language models. arXiv:2201.11903.
Horne, B. D., & Adali, S. (2017). This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news. ICWSM.
Nguyen, T. T., & Nguyen, C. M. (2022). Fine-tuning pre-trained language models for fake news detection: A comparative study. Journal of Information Science, 48(3), 356–370.
Alonso, J., & Fernández, J. (2023). Evaluación de modelos generativos en español para verificación automática de hechos. Revista Iberoamericana de Inteligencia Artificial, 26(72), 45–61.
Thorne, J., & Vlachos, A. (2018). Automated fact checking: Task formulations, methods and future directions. COLING 2018, 3346–3359.
Jiang, Z., Xu, F. F., Araki, J., & Neubig, G. (2021). How can we know what language models know? Transactions of the ACL, 9, 116–131.