Departamento de Informática (UM)

Sistemas de Armazenamento de Dados Eficientes

16924 [ME78ME7800007450]

Mestrado em Engenharia Informática [MEINF]

S2

João Tiago Medeiros Paulo

Objetivos

O conteúdo programático está organizado de forma a providenciar aos alunos, numa primeira fase, uma visão sobre os padrões e requisitos típicos de armazenamento de aplicações científicas e de Big Data que lidam com grandes quantidades de dados.
Num outro prisma, é fundamental aprender qual a organização atual das infraestruturas de computação avançada e dos seus recursos de armazenamento. Ao complementar esta informação com as tecnologias, arquiteturas e otimizações usadas atualmente em centros de computação avançada, é possível perceber em profundidade as várias camadas de armazenamento e o fluxo de pedidos de E/S desde a aplicação até aos dispositivos de hardware onde os dados são guardados.
Por fim, é importante explorar metodologias e ferramentas de diagnóstico e avaliação experimental para melhor compreender a interação entre aplicações e recursos de armazenamento, permitindo a sua otimização e depuração (i.e., correção de potenciais erros críticos).

Programa

1. Aplicações científicas e de Big Data centradas em dados e respetivos padrões de armazenamento (p.e.., acessos sequenciais vs. aleatórios, ficheiros grandes vs. pequenos).
2. Interfaces, formatos de ficheiro e diferentes bibliotecas de E/S usados em computação avançada (p.e.., POSIX, HDF5, MPI-IO).
3. Infraestruturas e arquiteturas de armazenamento adotadas por centros de computação avançada.
4. Sistemas e hardware para armazenamento local de dados.
5. Sistemas e hardware para armazenamento distribuído de dados.
6. Otimizações de armazenamento em termos de eficiência, escalabilidade, confiabilidade, gestão de recursos e segurança dos dados (p.ex., caching, tiering, compressão, deduplicação, replicação, cifras).
7. Diagnóstico de pedidos de E/S de aplicações e avaliação de sistemas de armazenamento.

Bibliografia

Alexander Thomasian. Storage Systems, O’Reilly, 2021.

Anjus George, Rick Mohr, James Sim. Understanding Lustre Internals, Oak Ridge National Laboratory, 2021.

Jeffrey S. Vetter. Contemporary High Performance Computing, O’Reilly, 2017.

Rajkumar Buyya, Toni Cortes, Hai Jin. High Performance Mass Storage and Parallel I/O: Technologies and Applications, Wiley-IEEE Press, 2001.

Ricardo Macedo, João Paulo, José Pereira, Alysson Bessani. A Survey and Classification of Software-Defined Storage Systems, ACM Computing Surveys, 2020.

Resultados da aprendizagem

- Compreender os diferentes comportamentos de armazenamento e acesso a dados por parte de aplicações científicas e de Big Data.
- Explorar as interfaces, bibliotecas e abstrações de armazenamento usadas pelas aplicações.
- Compreender a organização e gestão de recursos de armazenamento em infraestruturas de computação avançada.
- Adquirir conhecimentos sobre tecnologias, interfaces e arquiteturas de sistemas de armazenamento locais e distribuídos usados atualmente pela indústria, percebendo a sua evolução e diferentes propósitos.
- Desenhar otimizações para o acesso a informação digital por parte de aplicações centradas em dados (p.e., de desempenho, confiabilidade, gestão de recursos, segurança).
- Executar a configuração e instalação de recursos e sistemas de armazenamento em ambientes de computação avançada.
- Implementar o diagnóstico e avaliação de aplicações e sistemas de armazenamento em ambientes de computação avançada

Método de avaliação

A componente de avaliação terá um teste com um peso entre 40% e 60% e uma componente prática com trabalho em grupo com um peso entre 40% e 60%.

Funcionamento

Turno: PL 1; Docente: Ricardo Gonçalves Macedo; Dep.: DI; Horas: 15.
Turno: PL 1; Docente: João Tiago Medeiros Paulo; Dep.: DI; Horas: 15.