Departamento de Informática (UM)

Análise de Dados de Elevado Desempenho

16921 [ME78ME7800007447]

Mestrado em Engenharia Informática [MEINF]

S2

António Luís Pinto Ferreira Sousa

Objetivos

Os conteúdos programáticos da disciplina abordam de maneira abrangente os principais desafios e responsabilidades enfrentados na análise de dados de elevado desempenho. A inclusão de conceitos de processamento distribuído assim como ferramentas em Python visa capacitar os alunos a ter pensamento critico e aplicar conhecimentos práticos em cenários reais de análise de dados de elevado desempenho.

Programa

1. BigData: variedade (formatos de dados), velocidade (fluxos de dados em tempo real para permitir decisões em tempo real) e volume
2. Conceitos e métodos fundamentais para conceber, armazenar, analisar e gerir dados semi-estruturados e não estruturados: modelos de dados como tabular, árvore, grafo, multi-dimensional (cubos), texto; e armazenamento orientado à linha vs coluna
3. Aspectos básicos dos pipelines de análise de dados: aquisição, integração, exploração, mineração, análise, visualização e interpretação
4. Escalabilidade, disponibilidade, coerência, distribuição e expressividade dos dados
5. Processamento distribuido: MapReduce, Dataflow/DAG e Grafos
6. Processamento Batch vs Stream
7. Otimização de desempenho em análise de dados
8. Análise de grandes quantidades de dados em Python: Jupyter Notebooks, Pandas, NumPy, Dask ou PySpark

Bibliografia

Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. Martin Kleppmann. O’ Reilly Media, Inc, 2017.

High Performance Python. Micha Gorelick, Ian Ozsvald. O’ Reilly Media, Inc,k 2020.

Data Science with Python and Dask. Jesse C. Daniel. Manning, 2019.

Spark: The Definitive Guide. Bill Chambers, Matei Zaharia. O’ Reilly Media, Inc, 2018.

Resultados da aprendizagem

- Perceber os desafios em análises de dados de elevado desempenho
- Resolver os desafios em análises de dados de elevado desempenho,
- Analisar casos de estudo de análises de dados de elevado desempenho,
- Aprender ferramentas e boas práticas para análise de dados mais eficaz, escalável, robusta e reproduzível.
- Conceber soluções eficazes de análises de dados de elevado desempenho.
- Implementar soluções eficazes de análises de dados de elevado desempenho.
Adicionalmente os alunos desenvolverão competências na utilização de :
- Bibliotecas adequadas para implementar transformações básicas, visualizações e análises de grandes volumes de dados
- Técnicas de programação adequadas para implementar transformações básicas, visualizações e análises de grandes volumes de
dados.

Método de avaliação

A metodologia de avaliação do curso envolve um projeto (40-60%) e teste (40-60%). O projeto tem como objetivo ajudar os alunos a compreender e aplicar os princípios da análise de dados de elevado desempenho e a resolver desafios de forma inovadora. O teste permite avaliar os conhecimentos teóricos e o espírito crítico. A avaliação contínua, incluindo teste e apresentações de projecto, garantem uma avaliação completa e diferenciadora.

Funcionamento

Turno: PL 1; Docente: António Luís Pinto Ferreira Sousa; Dep.: DI; Horas: 30.