Projeto de DW e BI - 3º Parte - Staging Área

Representa um armazenamento intermediário dos dados, facilitando a integração dos dados antes de sua atualização no ODS e posteriormente no DW.

A Staging área não tem como função sumarizar dados, mas agilizar o processo de consolidação, proporcionado um melhor desempenho na fase da atualização dos dados. A Staging Área é o único lugar para determinar os valores que vêm efetivamente dos sistemas legados. A Staging Área dever ser usada para limpeza dos dados que entram no processo de extração e transformação

O Staging Área ou área de retenção é a parte mais importante na construção de um DW. Muitas profissionais desconsideram a sua existência. Mais vamos explicar mais afundo sua funcionalidade. São varias as utilidades e funcionalidadeses do Staging Área.

Primeiro é a Extração. A extração basicamente seria buscar as informações dos sistemas legados e fontes externas da empresa e coloca-las na Staging Área para validação, transformação e carga. Existem varias técnicas para fazer isso, vamos ver algumas nos próximos artigos. O importante é termos as informações novas ou atualizadas do dia anterior, tendo assim um retrato dia a dia do que foi incluído, excluído e alterado. A partir dai não precisamos mais do banco de dados de produção, ou seja, não corremos o risco de concorrer consumindo assim recursos dos sistemas legados.

Segundo é a Transformação. Com os dados do dia anterior na Staging Área podemos fazer as transformações necessárias. Essas transformações vão variar dependendo da modelagem e dos sistemas ERPs. Vamos sitar um exemplo bem simples de transformações: No sistema X1 temos um campo na tabela tb1 com o nome sexo que se refere ao sexo da pessoa onde “F” feminino e “M” Masculino. Já no sistema X2 temos um campo na tabela tb2 com o nome sexo que se refere ao sexo da pessoa onde “0” feminino e “1” Masculino. Bem na Staging Área tratamos essas transformações, ou seja, definimos por exemplo que vamos usar 0 e 1 para definir feminino e masculino  . Então a Staging Área recebe do sistema X1 da tabela tb2 os dados em forma de “F” e “M” e transforma em 0 e 1. Assim podemos receber os dados de varias formas mas ao chegar no ODS sempre será 0 ou 1.

Terceiro é a Carga. O processo de carga é realizado após todos os tratamentos feitos nos dados nos processos de extração e transformação. Essa etapa consiste em carregar os dados tratados, limpos e armazenados na Staging Área e carrega-los para o ODS.

Lembramos que a Staging Área é carregada e limpa todos os dias. Ela não armazenas os dados, só recebe, transforma e entrega para o ODS. Após a entrega dos dados no ODS ela é limpa.

Podemos resumir a Staging Área como sendo o ambiente intermediário de armazenamento e processamento dos dados oriundos de aplicações OLTP e outras fontes, para o processo de extração e transformação e carga(ETL), possibilitando o seu tratamento, e evitando problemas como concorrência com o ambiente transacional no consumo de recursos.

Como vimos a implementação dos processos que envolvem o Staging Área são de vital importância para o bom funcionamento do DW e sua integração com a corporação, extraindo assim o máximo de informações possíveis e proveitosas.


Projeto de DW e BI - 4º Parte - Operational Data Storange