Arquitecturas neuronales para la clasificación de sentimientos: una evaluación empírica de LSTM, BERT y CNN usando PyTorch
Gabriela Belén Uquillas Trujillo
Escuela Superior Politécnica de Chimborazo – Facultad de Ingeniería Informática y Electrónica – Escuela de Posgrado – Ecuador
https://orcid.org/0009-0009-2478-0711
Rebeca Mariana Moposita Lasso
Escuela Superior Politécnica de Chimborazo – Facultad de Ingeniería Informática y Electrónica – Tecnología de la Información – Ecuador.
https://orcid.org/0009-0004-9181-1008
DOI: https://doi.org/10.55204/trj.v4i2.e100
Palabras clave: Análisis de sentimientos, Procesamiento del Lenguaje Natural, Redes neuronales profundas, Pytorch
Resumen
El análisis de sentimientos en español es una tarea fundamental debido al desarrollo de contenido en Internet La presente investigación estudia el desempeño de tres arquitecturas neuronales, CNN, Bi-LSTM y BERT para la clasificación de sentimientos en español, utilizando el conjunto de datos de reseñas cinematográficas IMDB. Siguiendo la metodología de Investigación en Ciencia del Diseño, se implementaron modelos en PyTorch con parámetros equivalentes para garantizar una comparación equitativa. Los resultados evidencian la superioridad de BERT con una precisión del 87.92%, F1-score de 87.89% y AUC-ROC de 0.947, seguido por Bi-LSTM, 86.29% y CNN, 85.64%. BERT destaca en la identificación de sentimientos negativos, mientras que CNN muestra un rendimiento más equilibrado entre clases. No obstante, BERT demanda recursos computacionales mayores, con un tiempo de entrenamiento de 2h14m versus 1m22s de Bi-LSTM. Este estudio proporciona evidencia empírica para la selección de arquitecturas neuronales en aplicaciones de análisis de sentimientos en español, considerando el balance entre precisión y eficiencia computacional.
Descargas
Citas
Liu, B. (2020). Sentiment analysis: Mining opinions, sentiments, and emotions (2nd ed.). Cambridge University Press.
Fu, E., Xiang, J., & Xiong, C. (2022). Deep Learning Techniques for Sentiment Analysis. Highlights in Science, Engineering and Technology. 16. 1-7 [Archivo PDF] https://doi.org/10.54097/hset.v16i.2065
Poria, S., Majumder, N., Mihalcea, R., & Hovy, E. (2023). Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, 11, 78347-78372 [Archivo PDF] https://ieeexplore.ieee.org/ielaam/6287639/8600701/8764449-aam.pdf
Zhang, L., Wang, S., & Liu, B. (2022). Deep learning for sentiment analysis: A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 12(3), e1413 [Archivo PDF] https://doi.org/10.1002/widm.1253
González-Carvajal, S., & Garrido-Merchán, E. C. (2021). Comparing BERT against traditional machine learning text classification. Journal of Computational and Cognitive Engineering, 183, 115345 [Archivo PDF]. https://doi.org/10.47852/bonviewJCCE3202838
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735-1780 [Archivo PDF]. https://doi.org/10.1162/neco.1997.9.8.1735
Kim, Y. (2014). Convolutional neural networks for sentence classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 1746-1751 [Archivo PDF]. https://doi.org/10.3115/v1/D14-1181.
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171-4186 [Archivo PDF]. https://doi.org/10.18653/v1/N19-1423
Taylor, JohnMark & Kriegeskorte, Nikolaus. (2023). Extracting and visualizing hidden activations and computational graphs of PyTorch models with TorchLens. Scientific Reports. 13 [Archivo PDF]. https://doi.org/10.1038/s41598-023-40807-0
Minaee, S., Kalchbrenner, N., Cambria, E., Nikzad, N., Chenaghlu, M., & Gao, J. (2021). Deep learning-based text classification: A comprehensive review. ACM Computing Surveys, 54(3), 1-40 [Archivo PDF]. https://doi.org/10.1145/3439726
Moreno-Ortiz, A., García-Gámez, M. (2023) Strategies for the Analysis of Large Social Media Corpora: Sampling and Keyword Extraction Methods. Corpus Pragmatics 7, 241–265 [Archivo PDF]. https://doi.org/10.1007/s41701-023-00143-0
Prottasha, N.J., Mahmud, A., Sobuj, M.S.I. et al. (2024) Parameter-efficient fine-tuning of large language models using semantic knowledge tuning. Sci Rep 14, 30667 (2024) [Archivo PDF]. https://doi.org/10.1038/s41598-024-75599-4
Angel, Sonia & Peña Pérez Negrón, Adriana & Espinoza-Valdez, Aurora. (2021). Systematic literature review of sentiment analysis in the Spanish language. Data Technologies and Applications. ahead-of-print [Archivo PDF]. https://doi.org/10.1108/DTA-09-2020-0200
Alahmari, S.S., Goldgof, D., Mouton, P.R., & Hall, L.O. (2020). Challenges for the Repeatability of Deep Learning Models. IEEE Access, 8, 211860-211868 [Archivo PDF]. https://doi.org/10.1109/ACCESS.2020.3039833
Huang, F., Li, X., Yuan, C., Zhang, S., Zhang, J., & Qiao, S. (2021). Attention-Emotion-Enhanced Convolutional LSTM for Sentiment Analysis. IEEE Transactions on Neural Networks and Learning Systems, 33, 4332-4345 [Archivo PDF]. https://doi.org/10.1109/TNNLS.2021.3056664
Jin, N., Wu, J., Ma, X., Yan, K., & Mo, Y. (2020). Multi-Task Learning Model Based on Multi-Scale CNN and LSTM for Sentiment Classification. IEEE Access, 8, 77060-77072 [Archivo PDF]. https://doi.org/10.1109/ACCESS.2020.2989428
Zhou, X., Li, Y.A., & Liang, W. (2020). CNN-RNN Based Intelligent Recommendation for Online Medical Pre-Diagnosis Support. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 18, 912-921 [Archivo PDF]. https://doi.org/10.1109/TCBB.2020.2994780
Gutiérrez-Fandiño, A., Armengol-Estapé, J., Pàmies, M., Llop-Palao, J., Silveira-Ocampo, J., Carrino, C. P., & Villegas, M. (2022). MarIA: Spanish language models. Procesamiento del Lenguaje Natural, 68, 39-60 [Archivo PDF]. http://doi.org/10.26342/2022-68-3
McClelland, J. L., & Rumelhart, D. E. (1986). Parallel distributed processing: Explorations in the microstructure of cognition. MIT Press [Archivo PDF]. https://doi.org/10.7551/mitpress/5236.001.0001
Baddeley, A. (2023). Working memory: Theories, models, and controversies. Annual Review of Psychology, 74, 1-25 [Archivo PDF]. https://doi.org/10.1146/annurev-psych-120710-100422
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., & Polosukhin, I. (2017) [Archivo PDF]. Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998-6008. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
Bengio, Y., Courville, A., & Vincent, P. (2021). Representation learning: A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(8), 2519-2535 [Archivo PDF]. https://doi.org/10.1109/TPAMI.2013.50
Shaukat, Zeeshan & Zulfiqar, Abdul Ahad & Xiao, Chuangbai & Azeem, Muhammad & Mahmood, Tariq. (2020). Sentiment analysis on IMDB using lexicon and neural networks. SN Applied Sciences. 2 [Archivo PDF]. https://doi.org/10.1007/s42452-019-1926-x
Henriquez Miranda, Carlos & Guzman, Jaime. (2016). A Review of Sentiment Analysis in Spanish. TECCIENCIA [Archivo PDF]. https://doi.org/10.18180/tecciencia.2017.22.5
Salza, P., Schwizer, C., Gu, J., & Gall, H.C. (2021). On the Effectiveness of Transfer Learning for Code Search. IEEE Transactions on Software Engineering, 49, 1804-1822 [Archivo PDF]. http://doi.org/10.1109/TSE.2022.3192755
Apiola, M., & Sutinen, E. (2020). Design science research for learning software engineering and computational thinking: Four cases. Computer Applications in Engineering Education, 29, 101 - 83 [Archivo PDF]. https://doi.org/10.1002/cae.22291
Schjerven, F. E., Lindseth, F., & Steinsland, I. (2024). Prognostic risk models for incident hypertension: A PRISMA systematic review and meta-analysis. PLOS ONE, 19(3), e0294148 [Archivo PDF]. https://doi.org/10.1371/journal.pone.0294148
Reyes, K., & Aquino, J. (2023) Investigación en las ciencias del diseño: Aplicación en los contextos de computación y tecnología. Entorno de una investigación en ciencias del diseño. Chiclayo: Universidad Católica Santo Toribio de Mogrovejo, 2023 [Archivo PDF]. USAT-LIBRO-INVESTIGACION-CIENCIAS-DEL-DISENO.pdf
Bellar, O., Baina, A., & Ballafkih, M. (2024). Sentiment analysis: Predicting product reviews for e-commerce recommendations using deep learning and transformers. Mathematics, 12(15), 2403 [Archivo PDF]. https://doi.org/10.3390/math12152403
Fernández, D (2021). IMDB Dataset of 50K Movie Reviews (Spanish). https://www.kaggle.com/datasets/luisdiegofv97/imdb-dataset-of-50k-movie-reviews-spanish
Duong, HT., & Nguyen-Thi, TA (2021). A review: preprocessing techniques and data augmentation for sentiment analysis. Comput Soc Netw 8, 1 [Archivo PDF]. https://doi.org/10.1186/s40649-020-00080-x
Chatterjee, I., Zhou, M., Abusorrah, A., Sedraoui, K., & Alabdulwahab, A. (2021). Statistics-based outlier detection and correction method for Amazon customer reviews. Entropy, 23(12), 1645 [Archivo PDF]. https://doi.org/10.3390/e23121645
Colón-Ruiz, Cristóbal & Segura-Bedmar, Isabel. (2020). Comparing deep learning architectures for sentiment analysis on drug reviews. Journal of Biomedical Informatics. 110. 103539 [Archivo PDF]. https://doi.org/10.1016/j.jbi.2020.103539
Pandit, K., Patil, H., Shrimal, D., Suganya, L., & Deshmukh, P. (2024). Comparative analysis of deep learning models for sentiment analysis on IMDB reviews. J. Electrical Systems, 20(2), 424-433 [Archivo PDF]. https://doi.org/10.52783/jes.1345
Jurafsky, Daniel & Martin, James. (2008). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Archivo PDF]. https://pages.ucsd.edu/~bakovic/compphon/Jurafsky,%20Martin.-Speech%20and%20Language%20Processing_%20An%20Introduction%20to%20Natural%20Language%20Processing%20(2007).pdf