TEMA 8. Modelado neuronal del lenguaje

UNIVERSIDAD DE LA RIOJA
Postgrado al que pertenece: Máster Universitario en Inteligencia Artificial
Denominación de la asignatura: Procesamiento del Lenguaje Natural
Contenido: BLOQUE 3. Tratamiento del texto estadístico y neuronal
Guía de Estudio: TEMA 8. Modelado neuronal del lenguaje


a. Introducción y objetivos
El modelado neuronal del lenguaje es una rama avanzada de la inteligencia artificial que se
enfoca en la creación de modelos capaces de entender, procesar y generar lenguaje humano.
Estos modelos han revolucionado campos como la traducción automática, el análisis de
sentimientos, la generación de texto y la búsqueda de información. Este tema tiene como objetivo
proporcionar una comprensión técnica y profunda de los modelos neuronales aplicados al
procesamiento del lenguaje natural (NLP, por sus siglas en inglés).


b. Modelos de representación vectorial con word embeddings
Definición
Los word embeddings son representaciones de palabras en un espacio vectorial continuo. Cada
palabra se representa como un vector de números reales, donde palabras con significados
similares se encuentran cerca unas de otras en este espacio.
Características
 Dimensionalidad: Generalmente, los vectores tienen entre 50 y 300 dimensiones.
 Pre-entrenamiento: Se entrenan usando grandes corpus de texto.
 Contexto: Capturan el contexto semántico de las palabras.
Ventajas
 Eficiencia: Permiten representar palabras en un espacio de baja dimensión.
 Transferibilidad: Los embeddings pre-entrenados pueden usarse en distintos modelos y
tareas.
 Semántica: Capturan relaciones semánticas entre palabras.
Desventajas
 Contexto estático: No capturan bien el contexto dinámico, es decir, el significado de una
palabra puede cambiar dependiendo de su uso en la oración.
 Limitaciones en vocabulario: No manejan bien palabras fuera del vocabulario (OOV, por
sus siglas en inglés).


c. Modelos de lenguaje basados en redes neuronales
Definición

, Los modelos de lenguaje basados en redes neuronales utilizan estructuras neuronales para
predecir la probabilidad de una secuencia de palabras en un texto.
Características
 Arquitectura: Utilizan arquitecturas como RNN (Redes Neuronales Recurrentes) y LSTM
(Long Short-Term Memory).
 Entrenamiento: Se entrenan utilizando grandes corpus de texto etiquetado.
 Contexto secuencial: Capturan dependencias secuenciales en el texto.
Ventajas
 Contexto dinámico: Pueden capturar dependencias a largo plazo en el texto.
 Flexibilidad: Adaptables a diferentes tareas de NLP.
Desventajas
 Complejidad: Requieren mucha memoria y poder computacional.
 Problemas de gradiente: Las RNN pueden sufrir de problemas de gradiente
desvaneciente o explosivo.


d. Transformers
Definición
Los Transformers son una arquitectura de red neuronal diseñada para manejar datos
secuenciales, pero a diferencia de RNNs, no procesan los datos en orden secuencial.
Características
 Atención: Utilizan mecanismos de autoatención para capturar relaciones entre palabras en
una secuencia.
 Paralelización: Permiten el procesamiento paralelo de datos.
 Escalabilidad: Escalan bien con grandes volúmenes de datos.
Ventajas
 Eficiencia: Permiten entrenar modelos más rápido gracias a la paralelización.
 Rendimiento: Superan a las RNN en varias tareas de NLP.
 Flexibilidad: Pueden manejar secuencias de longitud variable.
Desventajas
 Requerimientos de datos: Necesitan grandes cantidades de datos para entrenarse
efectivamente.
 Requerimientos computacionales: Altos requerimientos de memoria y capacidad de
procesamiento.