Arquitecturas neuronales para la clasificación de sentimientos: una evaluación empírica de LSTM, BERT y CNN usando PyTorch

Gabriela Belén Uquillas Trujillo

Escuela Superior Politécnica de Chimborazo – Facultad de Ingeniería Informática y Electrónica – Escuela de Posgrado – Ecuador

https://orcid.org/0009-0009-2478-0711

Rebeca Mariana Moposita Lasso

Escuela Superior Politécnica de Chimborazo – Facultad de Ingeniería Informática y Electrónica – Tecnología de la Información – Ecuador.

https://orcid.org/0009-0004-9181-1008

DOI: https://doi.org/10.55204/trj.v4i2.e100

Palabras clave: Análisis de sentimientos, Procesamiento del Lenguaje Natural, Redes neuronales profundas, Pytorch


Resumen

El análisis de sentimientos en español es una tarea fundamental debido al desarrollo de contenido en Internet La presente investigación estudia el desempeño de tres arquitecturas neuronales, CNN, Bi-LSTM y BERT para la clasificación de sentimientos en español, utilizando el conjunto de datos de reseñas cinematográficas IMDB. Siguiendo la metodología de Investigación en Ciencia del Diseño, se implementaron modelos en PyTorch con parámetros equivalentes para garantizar una comparación equitativa. Los resultados evidencian la superioridad de BERT con una precisión del 87.92%, F1-score de 87.89% y AUC-ROC de 0.947, seguido por Bi-LSTM, 86.29% y CNN, 85.64%. BERT destaca en la identificación de sentimientos negativos, mientras que CNN muestra un rendimiento más equilibrado entre clases. No obstante, BERT demanda recursos computacionales mayores, con un tiempo de entrenamiento de 2h14m versus 1m22s de Bi-LSTM. Este estudio proporciona evidencia empírica para la selección de arquitecturas neuronales en aplicaciones de análisis de sentimientos en español, considerando el balance entre precisión y eficiencia computacional.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

Liu, B. (2020). Sentiment analysis: Mining opinions, sentiments, and emotions (2nd ed.). Cambridge University Press.

Fu, E., Xiang, J., & Xiong, C. (2022). Deep Learning Techniques for Sentiment Analysis. Highlights in Science, Engineering and Technology. 16. 1-7 [Archivo PDF] https://doi.org/10.54097/hset.v16i.2065

Poria, S., Majumder, N., Mihalcea, R., & Hovy, E. (2023). Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, 11, 78347-78372 [Archivo PDF] https://ieeexplore.ieee.org/ielaam/6287639/8600701/8764449-aam.pdf

Zhang, L., Wang, S., & Liu, B. (2022). Deep learning for sentiment analysis: A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 12(3), e1413 [Archivo PDF] https://doi.org/10.1002/widm.1253

González-Carvajal, S., & Garrido-Merchán, E. C. (2021). Comparing BERT against traditional machine learning text classification. Journal of Computational and Cognitive Engineering, 183, 115345 [Archivo PDF]. https://doi.org/10.47852/bonviewJCCE3202838

Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735-1780 [Archivo PDF]. https://doi.org/10.1162/neco.1997.9.8.1735

Kim, Y. (2014). Convolutional neural networks for sentence classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 1746-1751 [Archivo PDF]. https://doi.org/10.3115/v1/D14-1181.

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171-4186 [Archivo PDF]. https://doi.org/10.18653/v1/N19-1423

Taylor, JohnMark & Kriegeskorte, Nikolaus. (2023). Extracting and visualizing hidden activations and computational graphs of PyTorch models with TorchLens. Scientific Reports. 13 [Archivo PDF]. https://doi.org/10.1038/s41598-023-40807-0

Minaee, S., Kalchbrenner, N., Cambria, E., Nikzad, N., Chenaghlu, M., & Gao, J. (2021). Deep learning-based text classification: A comprehensive review. ACM Computing Surveys, 54(3), 1-40 [Archivo PDF]. https://doi.org/10.1145/3439726

Moreno-Ortiz, A., García-Gámez, M. (2023) Strategies for the Analysis of Large Social Media Corpora: Sampling and Keyword Extraction Methods. Corpus Pragmatics 7, 241–265 [Archivo PDF]. https://doi.org/10.1007/s41701-023-00143-0

Prottasha, N.J., Mahmud, A., Sobuj, M.S.I. et al. (2024) Parameter-efficient fine-tuning of large language models using semantic knowledge tuning. Sci Rep 14, 30667 (2024) [Archivo PDF]. https://doi.org/10.1038/s41598-024-75599-4

Angel, Sonia & Peña Pérez Negrón, Adriana & Espinoza-Valdez, Aurora. (2021). Systematic literature review of sentiment analysis in the Spanish language. Data Technologies and Applications. ahead-of-print [Archivo PDF]. https://doi.org/10.1108/DTA-09-2020-0200

Alahmari, S.S., Goldgof, D., Mouton, P.R., & Hall, L.O. (2020). Challenges for the Repeatability of Deep Learning Models. IEEE Access, 8, 211860-211868 [Archivo PDF]. https://doi.org/10.1109/ACCESS.2020.3039833

Huang, F., Li, X., Yuan, C., Zhang, S., Zhang, J., & Qiao, S. (2021). Attention-Emotion-Enhanced Convolutional LSTM for Sentiment Analysis. IEEE Transactions on Neural Networks and Learning Systems, 33, 4332-4345 [Archivo PDF]. https://doi.org/10.1109/TNNLS.2021.3056664

Jin, N., Wu, J., Ma, X., Yan, K., & Mo, Y. (2020). Multi-Task Learning Model Based on Multi-Scale CNN and LSTM for Sentiment Classification. IEEE Access, 8, 77060-77072 [Archivo PDF]. https://doi.org/10.1109/ACCESS.2020.2989428

Zhou, X., Li, Y.A., & Liang, W. (2020). CNN-RNN Based Intelligent Recommendation for Online Medical Pre-Diagnosis Support. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 18, 912-921 [Archivo PDF]. https://doi.org/10.1109/TCBB.2020.2994780

Gutiérrez-Fandiño, A., Armengol-Estapé, J., Pàmies, M., Llop-Palao, J., Silveira-Ocampo, J., Carrino, C. P., & Villegas, M. (2022). MarIA: Spanish language models. Procesamiento del Lenguaje Natural, 68, 39-60 [Archivo PDF]. http://doi.org/10.26342/2022-68-3

McClelland, J. L., & Rumelhart, D. E. (1986). Parallel distributed processing: Explorations in the microstructure of cognition. MIT Press [Archivo PDF]. https://doi.org/10.7551/mitpress/5236.001.0001

Baddeley, A. (2023). Working memory: Theories, models, and controversies. Annual Review of Psychology, 74, 1-25 [Archivo PDF]. https://doi.org/10.1146/annurev-psych-120710-100422

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., & Polosukhin, I. (2017) [Archivo PDF]. Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998-6008. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf

Bengio, Y., Courville, A., & Vincent, P. (2021). Representation learning: A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(8), 2519-2535 [Archivo PDF]. https://doi.org/10.1109/TPAMI.2013.50

Shaukat, Zeeshan & Zulfiqar, Abdul Ahad & Xiao, Chuangbai & Azeem, Muhammad & Mahmood, Tariq. (2020). Sentiment analysis on IMDB using lexicon and neural networks. SN Applied Sciences. 2 [Archivo PDF]. https://doi.org/10.1007/s42452-019-1926-x

Henriquez Miranda, Carlos & Guzman, Jaime. (2016). A Review of Sentiment Analysis in Spanish. TECCIENCIA [Archivo PDF]. https://doi.org/10.18180/tecciencia.2017.22.5

Salza, P., Schwizer, C., Gu, J., & Gall, H.C. (2021). On the Effectiveness of Transfer Learning for Code Search. IEEE Transactions on Software Engineering, 49, 1804-1822 [Archivo PDF]. http://doi.org/10.1109/TSE.2022.3192755

Apiola, M., & Sutinen, E. (2020). Design science research for learning software engineering and computational thinking: Four cases. Computer Applications in Engineering Education, 29, 101 - 83 [Archivo PDF]. https://doi.org/10.1002/cae.22291

Schjerven, F. E., Lindseth, F., & Steinsland, I. (2024). Prognostic risk models for incident hypertension: A PRISMA systematic review and meta-analysis. PLOS ONE, 19(3), e0294148 [Archivo PDF]. https://doi.org/10.1371/journal.pone.0294148

Reyes, K., & Aquino, J. (2023) Investigación en las ciencias del diseño: Aplicación en los contextos de computación y tecnología. Entorno de una investigación en ciencias del diseño. Chiclayo: Universidad Católica Santo Toribio de Mogrovejo, 2023 [Archivo PDF]. USAT-LIBRO-INVESTIGACION-CIENCIAS-DEL-DISENO.pdf

Bellar, O., Baina, A., & Ballafkih, M. (2024). Sentiment analysis: Predicting product reviews for e-commerce recommendations using deep learning and transformers. Mathematics, 12(15), 2403 [Archivo PDF]. https://doi.org/10.3390/math12152403

Fernández, D (2021). IMDB Dataset of 50K Movie Reviews (Spanish). https://www.kaggle.com/datasets/luisdiegofv97/imdb-dataset-of-50k-movie-reviews-spanish

Duong, HT., & Nguyen-Thi, TA (2021). A review: preprocessing techniques and data augmentation for sentiment analysis. Comput Soc Netw 8, 1 [Archivo PDF]. https://doi.org/10.1186/s40649-020-00080-x

Chatterjee, I., Zhou, M., Abusorrah, A., Sedraoui, K., & Alabdulwahab, A. (2021). Statistics-based outlier detection and correction method for Amazon customer reviews. Entropy, 23(12), 1645 [Archivo PDF]. https://doi.org/10.3390/e23121645

Colón-Ruiz, Cristóbal & Segura-Bedmar, Isabel. (2020). Comparing deep learning architectures for sentiment analysis on drug reviews. Journal of Biomedical Informatics. 110. 103539 [Archivo PDF]. https://doi.org/10.1016/j.jbi.2020.103539

Pandit, K., Patil, H., Shrimal, D., Suganya, L., & Deshmukh, P. (2024). Comparative analysis of deep learning models for sentiment analysis on IMDB reviews. J. Electrical Systems, 20(2), 424-433 [Archivo PDF]. https://doi.org/10.52783/jes.1345

Jurafsky, Daniel & Martin, James. (2008). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Archivo PDF]. https://pages.ucsd.edu/~bakovic/compphon/Jurafsky,%20Martin.-Speech%20and%20Language%20Processing_%20An%20Introduction%20to%20Natural%20Language%20Processing%20(2007).pdf