Conceptos, técnicas y aplicaciones

bibliografía en páginas: 253-261

CAPÍTULO 1Inteligencia artificial generativa -- Funcionamiento de la IA generativa -- Focos de la IA generativa – Aplicaciones -- Modelos de lenguaje generativos – Conclusiones -- CAPÍTULO 2 Introducción -- Modelos de lenguaje autorregresivos -- Modelos de lenguaje estadísticos -- Modelos de lenguaje neuronales -- Modelos de lenguaje preentrenados --Grandes modelos de lenguaje -- Modelos de embeddings de palabras -- Redes neuronales recurrentes -- Redes neuronales recurrentes simples -- Redes de memoria a corto-largo plazo – Autoencoders -- Cuello de botella de la información -- Variables latentes -- Arquitectura de un Autoencoder -- Tipos de Autoencoders -- Redes adversarias generativas -- Modelos de atención -- Problema del encoder-decoder -- Atención en modelos de secuencia – Transformers -- Capa del encoder -- Codificación posicional -- Conexiones residuales -- Capa del decoder -- Capa lineal y SoftMax -- Entrenamiento – Inferencia -- Función de pérdida –Conclusiones -- CAPÍTULO 3 Introducción -- Habilidades emergentes -- Técnicas de mejoramiento de capacidades -- Corpus comunes -- Tipos de entrenamiento -- Tipos de aprendizaje -- Tipos de tokenización -- BERT – Funcionamiento -- Arquitectura -- Entrada del modelo -- Salida del modelo -- Modelos preentrenados basados en BERT GPT -- El modelo GPT y GPT-2 -- El modelo GPT-3 -- El modelo GPT-4 -- Reinforcement Learning from Human Feedback Vocabulario -- Entrenamiento -- PaLM-2 -- LLaMA -- Datos de preentrenamiento -- Arquitectura -- Objetivos y métricas --Preentrenamiento de LaMDA -- MEGATRON -- Datos de entrenamiento --CAPÍTULO 4 – Introducción -- Tareas de evaluación -- Tareas básicas de evaluación -- Tareas avanzadas de evaluación -- Tareas de cumplimiento de regulaciones -- Métricas y puntos de referencia -- Datasets de Benchmark -- SQuAD (Stanford Question Answering Dataset) -- GLUE (General Language Understanding Evaluation) -- SNLI (Stanford Natural Language Inference) -- ARC (Abstraction and Reasoning Corpus) -- Evaluación de LLM -- CAPÍTULO 5 -- Clasificación de sentimientos -- Búsqueda semántica en textos --Razonamiento con agentes de lenguaje -- Inferencia causal -- Acceso a bases de datos en lenguaje natural -- Cargando y preguntando por datos propios -- Realizando ajuste fino de un modelo con datos propios -- Diseño y optimización de prompts -- Sistema conversacional ChatGPT -- Sistema conversacional -- CAPÍTULO 6 -- Habilidades emergentes -- LLM en producción -- Alineación entre humanos y LLM -- Ética -- Aspectos regulatorios –Complejidad -- Riesgos –Limitaciones – Conclusiones.