Departamento de Informática (UM)

Página de Unidade Curricular 🇬🇧

DesignaçãoCódigoCursoRegimeRegente

Inteligência Artificial Generativa

16805 [ME95ME9500007424]

Mestrado em Inteligência Artificial [MIA]

S1

Dalila Alves Durães

Objetivos

Programa

1. Introdução à IA Generativa e aos modelos de linguagem;
2. Modelos linguísticos de grande dimensão (LLMs) em IA e PLN;
3. Transformers: arquitetura de Encoder-Decoder, mecanismo de self-attention, multi-head attention, codificação posicional, redes neuronais feed-forward, normalização de camadas e ligações residuais, camada de saída, treino e perdas, aplicações dos Transformers.
4. Arquitetura GPT;
5. Arquitetura BERT;
6. Ajuste Fino (Fine-tunning): ajuste fino em monotarefa e multitarefa, ajuste fino eficiente de parâmetros (PEFT), técnicas de PEFT1 (LoRA) e técnicas de PEFT2 (Prompt suaves).
7. Prompt e engenharia do Prompt;
8. Retrieval-augmented generation e bases de dados vetoriais na integração de dados e conhecimento pré-existente com LLMs.
9. Aprendizagem por reforço a partir de feedback humano (RLHF).
10. Modelos Multimodais: Definição, DALL-E, Imagen, Stable Diffusion, Flamingo.
11. Aplicações de IA Generativa em diversas áreas.

Bibliografia


Foster, D. (2022). Generative deep learning. " O'Reilly Media, Inc.".

Ozdemir, S. (2023). Quick Start Guide to Large Language Models: Strategies and Best Practices for Using ChatGPT and Other LLMs. Addison-Wesley Professional.

Miller, R. E. (2023). Prompt Engineering Bible: Join and Master the AI Revolution
Profit Online with GPT-4 & Plugins for Effortless Money Making!. Independently published.

Fraley, A. (2023). The Artificial Intelligence and Generative AI Bible: [5 in 1] The Most Updated and Complete Guide
From Understanding the Basics to Delving into GANs, NLP, Prompts, Deep Learning, and Ethics of AI. AlgoRay Publishing.

Resultados da aprendizagem

- Definir os principais conceitos nos campos da IA Generativa, com foco na linguagem LLM.
- Conhecer classes de métodos/algoritmos, aplicações e bibliotecas de programação apropriadas para a resolução dos principais problemas na área da IA Generativa.
- Aplicar software disponível de IA Generativa para a resolução de problemas, incluindo o uso de bibliotecas de software livre.
- Construir programas podendo usar bibliotecas de software disponíveis para a implementação de pipelines avançados de IA Generativa.
- Construir programas que possam implementar algoritmos existentes ou desenvolver novos algoritmos ao nível do IA Generativa.

Método de avaliação


A avaliação da aprendizagem envolve dois instrumentos de avaliação: trabalhos práticos de desenvolvimento (com peso de 50% a 60%) e uma prova escrita (com peso de 40% a 50%). A classificação final é calculada pela ponderação dos diversos instrumentos de avaliação.
É considerado aprovado o aluno cuja classificação final seja superior ou igual a 10 (dez) valores.
Para o cálculo da classificação final podem-se estabelecer notas mínimas, sendo que, para instrumentos de avaliação de cariz prático, esta nota mínima não pode ser inferior a 10 (dez) valores.

Funcionamento

Turno: T 1; Docente: Dalila Alves Durães; Dep.: DI; Horas: 15.
Turno: PL 1; Docente: Diana Lisandra Azevedo Ferreira; Dep.: DI; Horas: 30.

[ Outras UCs do Departamento ]