Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana
La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialment...
Guardado en:
| Autores principales: | , |
|---|---|
| Otros Autores: | |
| Formato: | Tesis de maestría |
| Lenguaje: | español |
| Publicado: |
Universidad Peruana Unión
2024
|
| Materias: | |
| Acceso en línea: | Enlace permanente (DOI o Handle) |
| Etiquetas: |
Sin Etiquetas, Sea el primero en etiquetar este registro!
|
| _version_ | 1881510559416844288 |
|---|---|
| author | Calizaya Milla, Sergio Elvis Santos Gonzales, Jair Samuel |
| author2 | Huanca Torres, Fredy Abel |
| author_browse | Calizaya Milla, Sergio Elvis Huanca Torres, Fredy Abel Santos Gonzales, Jair Samuel |
| author_facet | Huanca Torres, Fredy Abel Calizaya Milla, Sergio Elvis Santos Gonzales, Jair Samuel |
| author_sort | Calizaya Milla, Sergio Elvis |
| collection | Repositorio institucional |
| description | La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialmente con jergas o lenguaje informal. En respuesta a esta necesidad, nuestra investigación evalúa modelos monolingües al español que mejor se adapten a las expresiones coloquiales peruanas, siendo la mejor alternativa RoBERTuito, un modelo pre-entrenado en un extenso corpus de tweets en español que destaca su eficacia en tareas de clasificación de texto. Afinamos y comparamos este modelo para reflejar las características del español peruano. Implementamos un proceso de recolección y preprocesamiento de datos de Facebook, enfocándonos en comentarios en español peruano. Este dataset especializado con más de 11,000 comentarios etiquetados fueron usados para entrenar modelos monolingües en la tarea de análisis de sentimientos y obtener una detección más precisa de la polaridad en textos que incluyen jergas peruanas. RoBERTuito obtuvo un F1-score equilibrado de 0.750, con una precisión de 0.858, un recall de 0.870 y una exactitud de 0.789. En comparación, BETO alcanzó una precisión de 0.794, recall de 0.725 y exactitud de 0.669; BERTuit, una precisión de 0.751, recall de 0.869 y exactitud de 0.722; y RoBERTa-BNE, una precisión de 0.783, recall de 0.759 y exactitud de 0.750. Este estudio no solo proporciona una solución para el análisis de sentimientos en español peruano, sino que también establece una base para adaptar modelos monolingües a contextos lingüísticos específicos. |
| escuela_str_mv | Escuela de Posgrado |
| format | info:eu-repo/semantics/masterThesis |
| id | oai:repositorio.upeu.edu.pe:20.500.12840/8017 |
| institution | UPeU |
| language | Spanish |
| linea_str_mv | Inteligencia artificial |
| ocde_area_str_mv | Ciencias naturales |
| ocde_disciplina_str_mv | Computación y ciencias de la información |
| ocde_str_mv | 1.02.01 |
| programa_nombre_str_mv | Maestría en Ingeniería de Sistemas con Mención en Dirección y Gestión en Tecnología de Información |
| programa_uri_str_mv | http://upeu.edu.pe/sys/programas/programa/maestria-en-ingenieria-de-sistemas-direccion-tic |
| publishDate | 2024 |
| publishDateRange | 2024 |
| publishDateSort | 2024 |
| publisher | Universidad Peruana Unión |
| publisherStr | Universidad Peruana Unión |
| record_format | dspace |
| sede_str_mv | Lima |
| spelling | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana Calizaya Milla, Sergio Elvis Santos Gonzales, Jair Samuel Huanca Torres, Fredy Abel Fine-tuning Análisis de sentimiento Transformers BERT Español Jergas La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialmente con jergas o lenguaje informal. En respuesta a esta necesidad, nuestra investigación evalúa modelos monolingües al español que mejor se adapten a las expresiones coloquiales peruanas, siendo la mejor alternativa RoBERTuito, un modelo pre-entrenado en un extenso corpus de tweets en español que destaca su eficacia en tareas de clasificación de texto. Afinamos y comparamos este modelo para reflejar las características del español peruano. Implementamos un proceso de recolección y preprocesamiento de datos de Facebook, enfocándonos en comentarios en español peruano. Este dataset especializado con más de 11,000 comentarios etiquetados fueron usados para entrenar modelos monolingües en la tarea de análisis de sentimientos y obtener una detección más precisa de la polaridad en textos que incluyen jergas peruanas. RoBERTuito obtuvo un F1-score equilibrado de 0.750, con una precisión de 0.858, un recall de 0.870 y una exactitud de 0.789. En comparación, BETO alcanzó una precisión de 0.794, recall de 0.725 y exactitud de 0.669; BERTuit, una precisión de 0.751, recall de 0.869 y exactitud de 0.722; y RoBERTa-BNE, una precisión de 0.783, recall de 0.759 y exactitud de 0.750. Este estudio no solo proporciona una solución para el análisis de sentimientos en español peruano, sino que también establece una base para adaptar modelos monolingües a contextos lingüísticos específicos. 2024-09-30 2024-10-18T17:23:38Z 2024-10-18T17:23:38Z info:eu-repo/semantics/masterThesis https://hdl.handle.net/20.500.12840/8017 spa info:eu-repo/semantics/openAccess http://creativecommons.org/licenses/by-nc-sa/4.0/ application/pdf Universidad Peruana Unión PE oai:repositorio.upeu.edu.pe:20.500.12840/8017 2026-11-10T17:45:09Z |
| spellingShingle | Fine-tuning Análisis de sentimiento Transformers BERT Español Jergas Calizaya Milla, Sergio Elvis Santos Gonzales, Jair Samuel Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title_full | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title_fullStr | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title_full_unstemmed | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title_short | Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana |
| title_sort | fine tuning de modelos monolingues bert preentrenados para el analisis de sentimientos en contextos de jerga peruana |
| topic | Fine-tuning Análisis de sentimiento Transformers BERT Español Jergas |
| topic_facet | Fine-tuning Análisis de sentimiento Transformers BERT Español Jergas |
| url | https://hdl.handle.net/20.500.12840/8017 |
| work_keys_str_mv | AT calizayamillasergioelvis finetuningdemodelosmonolinguesbertpreentrenadosparaelanalisisdesentimientosencontextosdejergaperuana AT santosgonzalesjairsamuel finetuningdemodelosmonolinguesbertpreentrenadosparaelanalisisdesentimientosencontextosdejergaperuana |