José Carlos Ramalho

A administração pública portuguesa é bastante complexa possuindo processos administrativos demasiados penosos e lentos para os tempos em que vivemos. Com o intuito de melhorar, o governo português criou um programa denominado Simplex+ que contém inúmeras medidas que visam simplificar e modernizar os processos administrativos nas entidades públicas.

Com o propósito de desmaterializar e simplificar os processos administrativos do arquivo nacional foi criada uma medida no programa Simplex+, denominada ”Arquivo Digital”. Esta medida tem como intuito implementar instrumentos transversais de gestão da documentação que visam classificar e avaliar os documentos produzidos e recebidos nos organismos públicos, disponibilizando-os numa plataforma online. Como execução da última etapa da medida nasce a Projeto M51-CLAV-Arquivo digital: Plataforma modular de classificação e avaliação da informação pública (CLAV).

Nos últimos anos, a CLAV tem vindo a ser desenvolvida na Universidade do Minho (UM) sobre orientação do Professor José Carlos Ramalho em conjunto com os responsáveis da entidade detentora do projeto, Direção-Geral do Livro, dos Arquivos e das Bibliotecas (DGLAB).

Como grande objetivo desta dissertação surge a introdução na plataforma CLAV de um dos instrumentos de gestão documental, o Relatório de Avaliação de Documentação Acumulada (RADA). Este instrumento que foi criado há vários anos visava classificar e avaliar a documentação produzida após esta ter sido criada.

Para atingir o grande objetivo e cumprir os requisitos impostos pela DGLAB foi necessário criar na aplicação web da plataforma novas interfaces que suportem a criação de um pedido RADA, que possibilitem a análise, validação, consulta e despacho do pedido no workflow de pedidos e posteriormente uma interface que permita a consulta e exportação em PDF de um RADA aprovado e presente na plataforma. Aliado aos desenvolvimentos na aplicação web foi necessário também especificar o domínio de dados do RADA na ontologia da plataforma bem como adaptar e construir novas rotas na Application Programming Interface (API) para suportarem o funcionamento deste novo universo.

Todos os desenvolvimentos efetuados nesta dissertação estão disponíveis em produção no sítio web da CLAV: https://clav.dglab.gov.pt.

A Administração Pública portuguesa tem desmaterializado processos e tem promovido a adoção de sistemas de gestão documental eletrónica bem como a digitalização de documentos destinados a serem arquivados. Estas medidas pretendem atingir a otimização de processos, a modernização de procedimentos administrativos e a redução de papel.

Com o propósito de atingir estes objetivos e simplificar a gestão documental na Administração Pública, a Classificação e Avaliação da Informação Pública (CLAV) nasce como uma das medidas. A CLAV tem como finalidade a classificação e a avaliação da informação pública por forma a auxiliar os sistemas de informação das entidades públicas alertando-as quando determinado documento deve ser arquivado ou eliminado. Para tal esta possui um referencial comum, a Lista Consolidada, com as funções e processos de negócio das entidades públicas associadas a um catálogo de legislação e de organismos.

Nos últimos dois anos, a CLAV tem vindo a ser desenvolvida no departamento de informática da Universidade do Minho em estreita colaboração com a equipa de investigação da área na Direção-Geral do Livro, dos Arquivos e das Bibliotecas.

À data de início deste trabalho, a CLAV era constituída por dois servidores de bases de dados que tinham como interlocutor o servidor da API de dados da CLAV. Era com este servidor da API de dados que toda a interação com o exterior passava: acesso de aplicações de terceiras partes e acessos da interface cliente desenvolvida para a CLAV.

Nesta dissertação, o grande objetivo era fazer evoluir a arquitetura aplicacional dando resposta a uma série de requisitos e tentando simplificar ao máximo o processo da sua manutenção futura.

Nesse sentido, especificou-se e implementou-se um serviço para a proteção da API de dados da CLAV, especificou-se a documentação desta API de dados, definiram-se os formatos de exportação e implementaram-se os exportadores desta API por forma a permitir uma maior interoperabilidade dos dados, implementou-se a autenticação com a Chave Móvel Digital recorrendo ao Autenticação.gov, criaram-se os mecanismos necessários à migração de HTTP para HTTPS e, por fim, adicionou-se uma API Gateway na CLAV por forma a simplificar o funcionamento e gestão da plataforma.

Todos estes desenvolvimentos estão em produção e podem ser observados acedendo ao sítio Web oficial da CLAV: https://clav.dglab.gov.pt

No passado, dados não era partilhada e permanecia isolada, impedindo comunicação entre datasets. Atualmente, temos maiores volumes de dados e num mundo onde tudo está interligado, os nossos dados também seguem essa tendência.

O foco de modelo de dados alterou de uma estrutura quadrada, como o modelo relacional, para um modelo centrado em relações. Grafos de Conhecimento são o novo paradigma para a representação e manipulação desta nova estrutura de dados.

Com o novo paradigma, bases de dados de grafos emergiram para suportar as novas necessidades. Apesar do aumento de interesse neste campo, apenas algumas soluções nativas estão disponíveis. A maioria requere uma licença comercial, e as opções open-source são interfaces básicas ou desatualizadas, e por consequência, distantes a muitos utilizadores.

Nesta tese introduzimos o Open Web Ontobud e discutimos o seu design e desenvolvimento. O Ontobud é uma aplicação Web direcionada ao melhoramento da interface de uma das mais fascinantes e influentes frameworks nesta área: o RDF4J. O RDF4J é uma framework em Java para guardar, manipular e inquirir grafos RDF.

Open Web Ontobud é um open-source web frontend para o RDF4J criado para diminuir a separação entre os utilizadores e o RDF4J backend. Nós criamos uma interface web que permite utilizadores com conhecimento básico de OWL e SPARQL explorar ontologias através de tabelas de recursos ou grafos, e inquirir informação com queries SPARQL. O objetivo da interface é ser intuitiva, com tooltips e ajuda quando necessário, bem como alguma informação de estatísticas numa forma facilmente acessível.

Apesar do frontend ser o foco principal, o backend e duas bases de dados também são utilizadas, para um total de quatro componentes nesta framework. Para a melhor experiência de inicialização utilizamos Docker pela sua simplicidade, permitindo inicialização em poucos comandos. Cada componente tem uma imagem dedicada, seguindo um design modular e permitindo cada componente ser executada em máquinas separadas se necessário.

A substituição do papel pelo formato digital nas instituições e empresas tornou-se uma prática comum, sendo que algumas já extinguiram a utilização de formatos analógicos. As políticas europeias incentivam a que sejam adotadas medidas para a redução de papel. Desta forma, a administração pública tem abandonado a utilização de suportes analógicos, substituindo-os pelo formato digital, tendo as entidades públicas passado a prestar os seus serviços e a disponibilizar a documentação de forma eletrónica.

A Plataforma "CLAV - Classificação e avaliação da informação pública" desenvolvida pela DGLAB pretende disponibilizar instrumentos, tal como a Lista Consolidada; a mediação desmaterializada da produção de tabelas de seleção; e a prestação de um serviço automatizado de controlo da eliminação da informação pública. A adoção de esquemas de metainformação para a interoperabilidade permite a disponibilização de uma linguagem comum aos vários organismos da Administração existente na Lista Consolidada, através da plataforma CLAV, permitindo ainda a integração com sistemas de informação organizacionais e a troca de informação entre entidades.

Em concordância com os objetivos delineados para o desenvolvimento do projeto, realizou-se um estudo sobre abordagens idênticas ao CLAV noutros países, onde foram identificadas as formas de classificação desenvolvidas e as tecnologias utilizadas para essa implementação, fazendo uma comparação com a abordagem de Portugal. O plano de trabalho do projeto dividiu-se então em três fases. Inicialmente realizou-se um estudo teórico acerca da abordagem de Andaluzia (Espanha) e a de Portugal. Seguiu-se com o desenvolvimento de um modelo gráfico acompanhando as especificações do \textit{Business Process Model and Notation} e, por fim, a implementação e o desenvolvimento desse modelo na plataforma CLAV.

Com a crescente necessidade de armazenar dados sobre forma digital as ontologias tornam-se cada vez mais relevantes como maneira simples de expressar conhecimento. Assim bases de dados capazes de guardar este tipo de estruturas de dados de modo eficaz, nomeadamente bases de dados orientadas a grafos, têm visto a sua utilização aumentar.

Nesta dissertação foram estudados dois motores de base de dados deste tipo: o GraphDB e o Neo4j. GraphDB foi criado para armazenamento de ontologias Web: OWL, SKOS e RDF, podendo estas ser interrogadas através de SPARQL, enquanto Neo4J foi desenhado para armazenar informação fortemente relacionada: grafos de informação dos quais as ontologias fazem parte, sendo CYPHER a linguagem de query utilizada para a sua exploração.

Nesta dissertação estudou-se a viabilidade de armazenar ontologias em Neo4J e explorá-las utilizando CYPHER.

Ao longo do processo da resolução deste problema foi determinado um segundo objectivo: criar uma camada tecnológica que permite o uso de SPARQL para interrogar o Neo4J.

Nesse sentido foi realizado um estudo comparativo das duas linguagens, implementou-se um compilador capaz de traduzir um subconjunto de queries SPARQL em CYPHER e foi desenvolvida uma bateria de testes que permitem fazer o benchmarking da tecnologia criada.

Finalmente foi construído um protótipo Web que implementa uma frontend sobre o Neo4J de modo a permitir não só armazenar ontologias como interrogá-las através de SPARQL.

Na Administração Pública portuguesa, existe uma preocupação recorrente em relação à informação gerada e recebida pelas diferentes entidades produtoras, sendo o uso de papel um fator significativo na perda de informação.

A CLAV é um projeto nacional, financiado pelo Simplex, que visa a classificação e avaliação de todos os documentos da administração pública portuguesa, com base em normas e orientações delineadas pela Direção Geral do Livro, dos Arquivos e das Bibliotecas.

A aplicação e o modelo de desenvolvimento já suportavam a criação e a manutenção dos instrumentos de classificação e avaliação, designados por Lista Consolidada e Tabelas de Seleção, onde já estavam definidos padrões de controlo, gestão e acesso à informação ou documentos arquivísticos.

Esta dissertação implementou a ação de avaliação, especificamente, a gestão e controlo dos procedimentos de eliminação. Assim, foi necessário definir um modelo para as instruções de eliminação juntamente com todos os seus requisitos e invariantes. Na plataforma CLAV foi crucial adicionar as interfaces que implementam os métodos e funcionalidades necessárias para criar ou importar as instruções de Eliminação e todas as funcionalidades relacionadas ao seu processamento, nomeadamente, o registo da meta-informação num banco de dados estático, análise e consulta das declarações de eliminação, entre outros.

Uma ontologia pode ser definida como um modelo de dados, que representa uma descrição de conceitos num determinado domínio. Esta tem como principal objetivo, aumentar a compreensão partilhada num determinado domínio, eliminando as diferenças, sobreposições e incompatibilidades em conceitos, estruturas, entre outros, criando assim uma especificação formal legível por um computador, e explicita, no sentido em que as entidades da ontologia são claramente definidas, distintas e inter-relacionadas entre si.

Tendo em conta o aumento exponencial de dados presentes na WEB, ontologias têm sido cada vez mais usadas como modelo de armazenamento de dados. Este aumento de usabilidade leva a que seja necessário o desenvolvimento de ferramentas que nos permitam criar/editar/analisar ontologias, ou seja, que nos permitam mão só interagir com elas, mas também realizar um tratamento dos dados consequentemente recolhidos.

Assim, pretende-se nesta dissertação, desenvolver uma aplicação web capaz de gerar, através de uma especificação, um relatório, referente a uma determinada ontologia acessível através de um determinado endpoint. Por outras palavras, pretende-se a criação de uma aplicação que permita ao utilizador obter, da ontologia, apenas os dados que pretende, em vez de uma quantidade enorme de dados sem qualquer tratamento prévio.

Existe uma preocupação cada vez maior em relação à quantidade de informação gerada e recebida por diversas instituições. Não só no que toca ao consumo excessivo de papel, como também a gestão de grandes quantidades de informação.

Com o intuito de simplificar a gestão documental, o governo tem desenvolvido diversas estratégias. Nomeadamente, na AP, com base em normas e orientações provenientes da Comissão Europeia.

A CLAV, surge como uma dessas estratégias. Esta visa a classificação e a avaliação de toda a documentação que circula na Administração Pública portuguesa, utilizando um referencial comum que permite o desenvolvimento de instrumentos de natureza transversal a aplicar em contexto organizacional.

Esta dissertação tem como objetivo primário, a integração dos serviços da plataforma Autenticação.Gov na CLAV, bem como a criação de estratégias apropriadas de gestão de utilizadores, autenticação de pedidos referentes à API pública disponibilizada, autenticação no backend e segurança da aplicação.

Existe uma preocupação cada vez maior em relação à quantidade de informação gerada e recebida por diversas instituições, não só no que concerne ao consumo excessivo de papel, como também à gestão de grandes quantidades de informação.

Com o intuito de simplificar esta gestão documental, foi criado o "Projeto M51-CLAV- Arquivo digital: Plataforma modular de classificação e avaliação da informação pública" que visa a classificação e a avaliação de toda a documentação que circula na Administração Pú́blica portuguesa, utilizando um referencial comum que permite o desenvolvimento de instrumentos de natureza transversal a aplicar em contexto organizacional. Este referencial é a Lista Consolidada (LC) e foi estruturada através de um projeto colaborativo de grande parte dos organismos da Administração Pública.

Estando o projeto já́ numa fase avançada, a LC foi modelada como uma ontologia OWL e encontra-se disponível para consulta na plataforma do CLAV, sendo que estão em desenvolvimento outras funcionalidades, com recurso à utilização de diferentes tecnologias e ferramentas, com o fim de tornar esta plataforma capaz da gestão documental referida. Uma dessas funcionalidades pretendidas é a criação de instrumentos de classificação e avaliação, chamados de Tabelas de Seleção (TS), que é o foco e o objetivo principal desta dissertação. Pretende-se então tornar a plataforma capaz do processo de criação de uma TS de uma forma simples, rápida e intuitiva, e que se prende com o preenchimento de um formulário com vários passos. Após este preenchimento, é submetido um pedido de submissão de uma nova TS, pedido esse que terá de passar por uma tramitação para que seja validado e, caso isso aconteca, a TS passará a ser um instrumento de extrema importância para avaliar e classificar os documentos produzidos pela(s) entidade(s) em causa, ou seja, permite uma melhor gestão documental.

Nos dias de hoje, inúmeras instituições recebem, todos os dias, uma vasta quantidade de informação e, muitas das vezes em papel. Desta forma, existe uma preocupação cada vez maior quer no consumo excessivo de papel quer na gestão de uma grande quantidade de informação. Com o intuito de simplificar a gestão documental, o governo tem concebido algumas estratégias, particularmente na Administração Pública (AP), com base em normas e orientações provenientes da Comissão Europeia. Assim, surge uma dessas estratégias, o Projeto "M51-CLAV- Arquivo digital: Plataforma modular de classificação e avaliação da informação pública", da Direção-Geral do Livro, dos Arquivos e das Bibliotecas (DGLAB). O objetivo principal deste projeto é a automatização de alguns processos relativos à classificação e avaliação de documentação na Administração Pública Portuguesa, utilizando um referencial comum que permite o desenvolvimento de instrumentos de natureza transversal a aplicar em contexto organizacional. Desta forma, nesta dissertação, pretende-se ter fora da Plataforma "CLAV - Classificação e avaliação da informação pública”, um ambiente que permita às pessoas manipular e editar a informação relativa aos processos de negócio da Administração Pública (AP). Desse modo, numa fase inicial foi feito um XML Schema, com base na Macroestrutura Funcional (MEF), com os dados da CLAV. Posteriormente, pretende-se ver de que forma é que alguns dos invariantes sobre os processos de negócio podem ser colocados a nível do schema, e depois implementados no Xonomy - um editor XML em JavaScript.

Este documento apresenta uma proposta de dissertação em Engenharia Informática, na área de Ontologias e Aplicações Web.

Nesta dissertação, o principal objetivo é desenvolver uma ontologia em OWL capaz de suportar a descrição da genealogia de um conjunto de indivíduos.

Para além disso, pretende-se desenvolver uma aplicação Web que suporte todas as operações de gestão e manutenção da ontologia bem como a sua exploração.

Databases are one of the main technologies supporting organizations’ information assets, and very often these databases contain information that is irreplaceable or prohibitively expensive to reacquire. The digital preservation field attempts to maintain this kind of information accessible and authentic for multiple decades, but the complexity commonly found in databases and the incompatibilities between database systems make it difficult to preserve this kind of digital object.Databases are one of the main technologies supporting organizations’ information assets, and very often these databases contain information that is irreplaceable or prohibitively expensive to reacquire. The digital preservation field attempts to maintain this kind of information accessible and authentic for multiple decades, but the complexity commonly found in databases and the incompatibilities between database systems make it difficult to preserve this kind of digital object.

The Database Preservation Toolkit is a software that automates the migration of relational databases to the second version of the Software Independent Archiving of Relational Databases format. Furthermore, this flexible tool that supports the current most popular Relational Database Management Systems can also convert a preserved database back to a Database Management System, allowing for some special usage scenarios in an archival context. The conversion of databases between different formats, whilst retaining the databases’ significant properties, poses a number of interesting issues, which are described in this document, along with their current solutions.

To complement the conversion software, the Database Visualization Toolkit is introduced, a software tool that provides access to preserved databases, enabling a consumer to quickly search and explore a database without knowing any query language. The viewer is capable of handling big databases as well, promptly presenting results of searching and filtering operations on millions of records.

This work covers the challenges of relational database preservation, and the development of a format and tools that play an important role in successfully preserving this kind of information.

Digital preservation is the sum of activities necessary to ensure the long-term access to digital information. The OAIS standard(ISO, 2012a) was developed in order to ease the communication between the various entities involved in the preservation of digital objects and regulate the long-lasting storage of digital information.

The preservation process begins when the producer creates Submission Information Packages (SIP) and uploads them to the archive’s repository. To create these packages, the producer must choose which files to archive and provide extra information (metadata) to describe and to allow finding the information. As the production of digital content increases exponentially, the creation of SIP by current methods can be too onerous and even unfeasible.

This work focuses on creating a semi-automatic way of producing SIPs by employing a simple and well-defined workflow. Using the file system as the source of content, the producer defines aggregation and metadata association rules and specify how the SIPs are created. The application that was developed to support this work, RODA-in, was designed to be able to create thousands of SIPs with gigabytes of data in an easy to use way. Additionally, it has multiple features that ease the work of the producer, such as metadata templating and mass edition.

A preservação de sistemas de informação é um dos maiores desafios da preservação digital. Entre esses sistemas, encontram-se as bases de dados. Estas servem de sustento à maior parte dos sistemas de gestão de informação, apresentando, assim, um grande interesse no que diz respeito à sua preservação. Se por um lado existe a necessidade de migrar as bases de dados para outras mais atuais, que vão aparecendo com o evoluir da tecnologia, por outro, existe também a necessidade de preservar a informação nelas contida durante um longo período de tempo, quer seja por questões legais, quer seja por questões de arquivo. Desta forma, essa informação deverá estar disponível independentemente do sistema de gestão da base de dados. Nesta área, os produtos que existem para preservação de base de dados relacionais ainda são poucos - CHRONOS e SIARD são os principais. O primeiro é muitas das vezes inacessível devido ao preço que apresenta. O segundo apenas suporta funcionalidades básicas. Assim, existe a oportunidade de explorar as principais qualidades e fraquezas das ferramentas existentes, de forma a melhorar a ferramenta de preservação de base de dados db-preservation-toolkit, componente extraída do projeto RODA. Deste modo, esta ferramenta foi melhorada, quer pela adição de funcionalidades de forma a ser capaz de suportar um maior número de sistemas de gestão de bases de dados, quer pela adição do suporte ao formato SIARD, mas também pelo desenvolvimento de uma interface que possibilita a visualização e pesquisa de informação numa base de dados arquivada.

Atualmente, com a expansão das tecnologias de informação, muito do conhecimento humano passou a estar registado em suportes digitais, o que nos remete à utilização de intermediários para a leitura dessa informação: hardware e software. Devido a esses intermediários estarem em constante evolução e havendo o perigo da sua descontinuidade, essa informação poderá ser perdida, não pelo desaparecimento do objeto digital, mas por ficar ilegível para os novos equipamentos e aplicações. Devido a estes problemas emergiu uma nova problemática no universo digital, a preservação digital.

Este projeto estuda a problemática da preservação digital, mas foca-se numa única classe de objetos digitais: as bases de dados relacionais. As bases de dados relacionais são de extrema importância, particularmente para as organizações, pois é nas suas bases de dados que se encontra informação essencial às suas atividades. Por essa razão, é fundamental não comprometer a sua longevidade, integridade e autenticidade.

O presente trabalho visa o desenvolvimento de um sistema de exploração de ontologias, que recebe ficheiros em formato SIARD, transformando-os em ontologias (OWL) e acrescentando-os ao repositório.

Como última fase, foi criado um navegador Web que permite explorar a informação das ontologias armazenadas, onde é possível questionar as ontologias através de SPARQL e guardar essas mesmas interrogações para posterior uso.

O repositório das ontologias foi desenvolvido segundo a norma OAIS, e tem por base uma aplicação Web com várias interfaces, para assim proporcionar a ingestão da informação e a sua administração, preservação e disseminação.

Os Arquivos Nacionais e Regionais têm como objectivo principal recolher e preservar a herança arquivística nacional que de alguma forma possuam interesse histórico, como por exemplo, documentos originados em cartórios, tribunais, ou em organismos religiosos. Estes documentos estão tipicamente relacionados com registos de nascimentos/óbitos, processos cíveis, entre outros. Para além de preservar esta informação, os Arquivos disponibilizam também a consulta pública destes documentos a quem assim o desejar. De uma forma geral, estes documentos são organizados, de forma hierárquica num modelo que comporta três níveis, orgânico, funcional e documental, e constituídos fisicamente em depósitos, que correspondem a uma determinada área física do(s) edifício(s) que representam o Arquivo (por exemplo, salas). A aplicação DigitArq da KEEP Solutions é um software de gestão de Arquivos, baseada em normas internacionais, que permite a produção e exportação de registos descritivos (informação recolhida nos documentos e outros objetos presentes nos fundos), disponibilizando-os em portais agregadores de conteúdos arquivísticos. Atualmente, esta aplicação permite guardar e obter informação relativa aos documentos e à sua hierarquia lógica nos fundos em que estão inseridos, mas não permite conhecer detalhes sobre os depósitos em que estão inseridos, nem sobre os depósitos em si mesmos. É neste contexto que esta dissertação é realizada, acompanhando o processo de criação de um novo módulo experimental para o DigitArq que permita realizar a manutenção de depósitos, incluindo a gestão do seu espaço, a identificação da localização física dos seus documentos, e que possua também funcionalidades de optimização dos seus espaços em termos de armazenamento.