Projeto de DW e BI - 4º Parte - Operational Data Storange

        Representa um armazenamento intermediário dos dados antes de sua atualização no Data Warehouse, ou seja, o ODS é um repositório, que armazena apenas as informações correntes, antes de serem carregas para DW. 

Normalmente um ODS é implementado quando existe a necessidade de analisar informações do dia a dia. Os dados são atualizados e ficam ali armazenados para consultas em um período de tempo curto, geralmente de 1 a 3 meses. Após esse período esses dados são armazenados em um DW e são disponibilizados aos clientes como dados históricos.

        Vejo como uma característica forte do ODS o fato do mesmo possibilitar a tomada de decisões de natureza operacional, com características que permitem a obtenção de tempos de resposta bastante rápidos, algo que um data warehouse clássico não consegue prover, pela quantidade de volume ali armazenado.

Para melhor entendimento vou mostrar onde entra o ODS no diagrama de um Data Warehouse.

        Primeiro temos os sistemas legados. Através deles copiamos as transações para o Staging Área. No Staging Área tratamos e transformamos dados em informação e enviamos para o ODS. Bem o ODS recebe essas informações e disponibilizar para os gestores em forma de consulta e relatórios diários. Após um período de tempo, normalmente 3 meses, essas informações são levadas para um DW.

Bem como vimos não é difícil compreender a diferença entre Staging Área e ODS. Existem outros conceitos sobre Stanging Área e ODS. Em algumas literaturas os autores as tratam como sendo a mesma coisa, já outros tratam o ODS com já sendo um DW. Em fim, pela minha experiência profissional vejo a necessidade de tratar o ODS como não sendo um DW e muito menos com sendo um Stanging Área.

         É isso pessoal no próximo artigo vou mostrar como usar as ferramentas da microsoft, SQL 2008, Integration Services, Reporting Services e analysis services na construção de um DW.


Projeto de DW e BI - 5º Parte - Introdução a Change Data Capture (CDC)

Projeto de DW e BI - 3º Parte - Staging Área

Representa um armazenamento intermediário dos dados, facilitando a integração dos dados antes de sua atualização no ODS e posteriormente no DW.

A Staging área não tem como função sumarizar dados, mas agilizar o processo de consolidação, proporcionado um melhor desempenho na fase da atualização dos dados. A Staging Área é o único lugar para determinar os valores que vêm efetivamente dos sistemas legados. A Staging Área dever ser usada para limpeza dos dados que entram no processo de extração e transformação

O Staging Área ou área de retenção é a parte mais importante na construção de um DW. Muitas profissionais desconsideram a sua existência. Mais vamos explicar mais afundo sua funcionalidade. São varias as utilidades e funcionalidadeses do Staging Área.

Primeiro é a Extração. A extração basicamente seria buscar as informações dos sistemas legados e fontes externas da empresa e coloca-las na Staging Área para validação, transformação e carga. Existem varias técnicas para fazer isso, vamos ver algumas nos próximos artigos. O importante é termos as informações novas ou atualizadas do dia anterior, tendo assim um retrato dia a dia do que foi incluído, excluído e alterado. A partir dai não precisamos mais do banco de dados de produção, ou seja, não corremos o risco de concorrer consumindo assim recursos dos sistemas legados.

Segundo é a Transformação. Com os dados do dia anterior na Staging Área podemos fazer as transformações necessárias. Essas transformações vão variar dependendo da modelagem e dos sistemas ERPs. Vamos sitar um exemplo bem simples de transformações: No sistema X1 temos um campo na tabela tb1 com o nome sexo que se refere ao sexo da pessoa onde “F” feminino e “M” Masculino. Já no sistema X2 temos um campo na tabela tb2 com o nome sexo que se refere ao sexo da pessoa onde “0” feminino e “1” Masculino. Bem na Staging Área tratamos essas transformações, ou seja, definimos por exemplo que vamos usar 0 e 1 para definir feminino e masculino  . Então a Staging Área recebe do sistema X1 da tabela tb2 os dados em forma de “F” e “M” e transforma em 0 e 1. Assim podemos receber os dados de varias formas mas ao chegar no ODS sempre será 0 ou 1.

Terceiro é a Carga. O processo de carga é realizado após todos os tratamentos feitos nos dados nos processos de extração e transformação. Essa etapa consiste em carregar os dados tratados, limpos e armazenados na Staging Área e carrega-los para o ODS.

Lembramos que a Staging Área é carregada e limpa todos os dias. Ela não armazenas os dados, só recebe, transforma e entrega para o ODS. Após a entrega dos dados no ODS ela é limpa.

Podemos resumir a Staging Área como sendo o ambiente intermediário de armazenamento e processamento dos dados oriundos de aplicações OLTP e outras fontes, para o processo de extração e transformação e carga(ETL), possibilitando o seu tratamento, e evitando problemas como concorrência com o ambiente transacional no consumo de recursos.

Como vimos a implementação dos processos que envolvem o Staging Área são de vital importância para o bom funcionamento do DW e sua integração com a corporação, extraindo assim o máximo de informações possíveis e proveitosas.


Projeto de DW e BI - 4º Parte - Operational Data Storange

Projeto de DW e BI - 2º Parte - Data Warehouse

A tecnologia de Data Warehousing é considerada por muitos como a evolução natural do Ambiente de Apoio a Decisão. O principal objetivo do Data Warehouse é disponibilizar informações para apoio a decisões da empresa. Assim um DW tem que ser capaz de integrar, de forma concisa e confiável, as informações de interesse para a empresa, que se encontram espalhadas pelos sistemas legados e em fontes externas, para posterior utilização nos sistemas de tomada de decisão.

Existem várias ideias, opiniões, definições e conceitos e ferramentas para criação e manutenção de um Data Warehouse, inclusive recentemente na empresa em que trabalho tivemos uma breve discussão sobre a melhor ferramenta disponível no mercado. Surgiram varias opiniões, eu claro defendi as ferramentas da Microsoft. Mas é importante ressaltar que não existe nenhum Data Warehouse pronto para ser utilizado sem um trabalho anterior de levantamento de necessidades da empresa e de seus executivos. Podemos afirma que para um DW vir a existir é necessário estudo e envolvimento da empresa e de seus executivos na definição e construção dessa base de dados de utilização corporativa.

Tecnicamente a construção exige a transferência e transformação dos dados existentes em sistemas corporativos, utilizando nas operações diárias de controle e operações, para uma base de dados independente o DW. Nesse momento surge a necessidade do Staging Areá e o ODS.

Um dos grandes problemas ao iniciar um projeto de DW e BI são os conceitos. Quando não se tem eles bem definidos fica difícil prosseguir. É por isso que vamos esclarecer o que vem a ser o Staging Areá e o ODS(Operational Data Storage). Quais as suas funcionalidade e diferenças?


Projeto de DW e BI - 3º Parte - Staging Área

Projeto de DW e BI - 1º Parte - Introdução

Bem pessoal vamos iniciar uma serie de artigos sobre DW e B.I. São muitas as duvidas existentes em como iniciar um projeto e como fazer. Nessa serie de artigo vou mostrar como fazer isso na pratica em sua empresa.

Nessa primeira parte vamos falar sobre os conceitos envolvidos em DW e BI. Depois vamos falar sobre as ferramentas da microsoft e como aproveitar os recursos disponíveis. 


Projeto de DW e BI 2º Parte - Data Warehouse

Apresentação

Ola galera!!!

     Estou começando hoje este blog e como meu primeiro post, seguindo uma orientação de uma colega de trabalho, um blogueiro nato (hugo Iuri), vou fazer uma breve apresentação e o que espero com esse blog.

     Meu nome é Alex Marques tenho 31 anos sou Formado em Bacharel em Ciência da Computação pela Puc Minas/betim e tenho uma Pós-Graduação em Banco de Dados e B.I.

Trabalho atualmente com Analista de B.I em uma empresa Paulista com sede aqui em Minas.

     Estou começando do zero o B.I na empresa. Pretendo com esse blog ajudar outros que também vão iniciar um projeto assim. Pretendo colocar todos os passos que vou trilhar. Estou aberto a duvidas, sugestões e criticas.

     Bem galera é isso. Espero que o conteúdo desse blog seja útil e ajude.