Construindo o Data Warehouse Por Diego Elias
O Data Warehouse (DW), ou armazém de dados, é a principal tecnologia adotada para a implementação do Business Intelligence. Com ela é possível a consolidação de informações estratégicas para a organização num repositório centralizado e de fácil acesso.
Com o DW é possível, entre outras coisas, o cruzamento de informações de forma muito mais dinâmica e intuitiva, possibilitando visualizações de cenários e análises gerenciais que apoiam a decisão.
Um dos benefícios do DW é sua grande capacidade de armazenamento e velocidade de respostas. A modelagem multidimensional além de permitir a busca rápida das informações, proporciona uma estrutura que suporta grandes volumes de dados, se comparado aos bancos de dados tradicionais.
Vale ressaltar que o Data Mart é um subconjunto do DW. Vários Data Marts podem compor um único DW. Por exemplo, podemos ter em uma organização um DW compostos pelo Data Mart financeiro, o Data Mart de RH, Data Mart de Marketing e assim por diante. É como se fosse uma subdivisão, uma departamentalização dos assuntos do Data Warehouse.
Saindo um pouco das definições e deixando um pouco a literatura de lado... Na prática, quais são as etapas necessárias para construção de um Data Warehouse?
As etapas do DW são:
- Construção da Matriz de Necessidades
- Avaliação da Fonte de Dados
- Construção da Staging Area
- Construção das Dimensões
- Construção das Fatos
- Definição do Processo Geral de Carga
- Criação dos Metadados
Construímos a matriz de necessidades com base no que será necessário ser incorporado ao DW, fazendo o correto levantamento e identificação dos indicadores. Na matriz é acrescentado todos os requisitos do DW e relacionado com as métricas e seus respectivos descritores. Em tese, todas as métricas (ou mensurações numéricas) são armazenados nas tabelas fatos e os descritores nas tabelas dimensionais. Na matriz de necessidade é importante também avaliar quais os campos que deverão ser historiados, identificando-os neste documento.
Na próxima etapa, é importante avaliar a fonte de dados e verificar a disponibilidade de todas as informações elencadas na matriz. Além do mais, é necessário efetuar o mapeamento desses dados para a futura extração. Caso tudo esteja OK, prosseguimos para a próxima etapa.
A staging area é uma etapa muito importante no desenvolvimento do Data Warehouse. É a área intermediária onde são armazenadas temporariamente os dados extraídos da origem e que serão devidamente tratados e armazenados no DW. A staging area é o subsídio necessário para a carga das dimensões e fatos.
Após a construção das dimensões e em seguida as fatos, podemos iniciar a construção do processo de carga geral. Ela detém toda a inteligência e lógica de carga do DW. Possui a frequência, tipo de carga (incremental ou total), processo de versionamento (histórico) e sequência de carga.
Por fim, todo DW precisa ter um documento de metadados que possua todas as informações do desenvolvimento do DW. Esse documento possui, dentre muitas coisas, as informações de origem dos dados, formato dos dados, fluxo dos dados, processo de carga, transformações dos dados, regras de acesso, responsável pela informação, definição dos níveis de acesso, perfis de acesso, e etc.. É elaborado de forma incremental a cada Data Mart concluído.
Normalmente a construção de um DW se dá através da concepção de vários Data Marts. Os Data Marts são construídos seguindo as mesmas etapas do DW:
Como essas etapas se repetem várias vezes a cada Data Mart, podemos representar o processo através de um ciclo:
Este processo se repete em cada Data Mart até que se preencha as lacunas do Data Warehouse, onde será englobado os assuntos estratégicos da organização.
Observe que não coloco a matriz de necessidades no ciclo pois é importante que este documento seja elaborado, preferencialmente, em um único esforço. O custo de mobilização e o tempo que é gasto para conseguir a participação dos stakeholders é muito alto.
Finalmente, para ficar claro, mostro graficamente como seria todo o processo de construção do DW:
Em futuros artigos serão aprofundados vários aspectos importantes do DW. Espero que o artigo tenha ajudado. Para receber notificações dos próximos assuntos por e-mail, inscreva-se AQUI.
Quer se aprofundar nesse universo? Conheça o revolucionário eBook BI Como Deve Ser - O Guia Definitivo através do site www.bicomodeveser.com.br.
Até o próximo artigo!