Prática BI: Do Dado à Análise Por Ana Feitoza e Rodrigo Silva
Introdução
Business Intelligence ou simplesmente BI surgiu da necessidade que as empresas possuem de extrair e consolidar informações dos sistemas operacionais, comprometendo à tomada de decisão por parte dos gestores. As empresas armazenam um alto volume de dados e o processo de extração, transformação, carga e análise desses dados precisa ser eficiente, ágil e seguro.
O termo “Business Intelligence” é originalmente criado por Richard Millar Devens em “Cyclopaedia of Commercial and Business Anecdotes” em 1865. Devens usou o termo para descrever como o bancário, Sir Henry Firnese, lucrou recebendo e agindo em cima de informações sobre o ambiente, antes de seus concorrentes. A habilidade de coletar e reagir adequadamente baseado em informações recuperadas é um dos principais objetivos do BI. Muitos anos se passaram e por volta de 1980, difundiu-se o conceito de Enterprise Information System (EIS). Um EIS possui o objetivo de disponibilizar aos executivos de empresas, o acesso amigável às informações, em um curto espaço de tempo, sempre apresentadas de forma clara e atraente. Os EIS devem ser personalizados e desenvolvidos para extrair, filtrar, comprimir e localizar dados críticos, fornecer acesso em tempo real, permitir a análise de tendências, apresentar relatórios e gráficos, e integrar uma vasta amplitude de dados externos e internos. Na década de 90, Howard Dresner, conhecido como o “pai do BI”, introduziu a definição: “Business Intelligence são conceitos e métodos para melhorar a tomada de decisão de negócios, utilizando sistemas de apoio baseados em fatos”.
Durante vários anos o BI sofreu transformações gradativas e fundamentais para sua consolidação, e neste período, diversos softwares relacionados foram surgindo no mercado como o Decision Support System (DSS), planilhas eletrônicas, Data Marts, Data Mining, ferramentas On-Line Analytical Processing (OLAP), entre outras. Tais softwares foram evoluindo para se tornar soluções de gestão de performance corporativa, combinando ferramentas de planejamento, orçamento, geração de relatórios e benchmark.
Atualmente fatores culturais são os principais obstáculos para a utilização do BI, na maior parte das corporações. Muitos gestores de empresas, sejam elas pequenas, médias ou grandes, têm dúvidas sobre como implementar um BI para gerar vantagens competitivas.
Abaixo destaco todas as etapas necessárias para quem deseja construir uma solução que disponibilize dados com segurança, qualidade e garantia de processo. O workflow destaca o uso da construção de um projeto de Data Warehouse (DW) que armazena os diversos dados de uma organização, sejam estes dados pertencentes à empresa ou oriundos de dados externos (clientes, fornecedores, dados abertos, etc.).
1 – Etapas de Construção do BI
A implantação de um projeto de BI pode ser dividida em 8 subprocessos:
-
Levantamento de Necessidades
-
Planejamento
-
Levantamento dos Dados
-
Mapeamento das Fontes de Dados
-
ETL (Extract, Transform, Load / Extração, Transformação, Carregamento)
-
Apresentação das Informações
-
Implantação
-
Pós-implantação
Entender e executar os subprocessos é fundamental para o sucesso do projeto. Cada subprocesso deve ser realizado de forma criteriosa e na sequência correta. É muito importante respeitar a sequência do fluxo, iniciando a etapa sucessora após a conclusão da predecessora. O desempenho do projeto depende fundamentalmente da realização das atividades de cada sub-processo, levando em conta os insumos e os artefatos de cada etapa.
1.1 - Levantamento de Necessidades
-
Durante o levantamento de necessidades, inicialmente o Analista de BI dedica-se a entender o problema da empresa. Existem várias técnicas para realizar essa atividade, como Entrevistas, Questionários, Workshops, Brain Storming, Grupo Focal e etc.. Para qualquer das técnicas utilizadas, é importante que o entrevistador dê espaço ao entrevistado(s) para expor suas ideias;
-
Em seguida, o analista de BI solicita que o cliente defina os stakeholders. Stakeholder é uma pessoa ou um grupo, que legitima as ações de uma organização e que tem um papel direto ou indireto na gestão e resultados dessa mesma organização. É importante que ao compor os stakeholders, sejam designadas as pessoas e grupos mais importantes para um planejamento estratégico ou plano de negócios;
-
Com os stakeholders definidos, é constituído um comitê de BI, formado por eles e pelo(s) analista(s) de BI, o qual irá expor as necessidades da empresa e definir os objetivos esperados durante e após a implantação do BI;
-
Ao final desta etapa, é elaborado o documento Matriz de Necessidades. onde o Comitê do BI inicia o processo de identificação dos principais assuntos e dados que deverão compor as futuras análises. Neste momento, o conhecimento do negócio pelos gestores é muito importante para estabelecer as métricas e descritores mais importantes. A “Matriz de Necessidades” consiste em um quadro contendo linhas e colunas, com as diversas relações/cruzamentos entre os indicadores e os dados existentes na organização, e será muito útil durante outras etapas do projeto.
1.2 - Planejamento
-
Após a realização do Levantamento de Necessidades e Dados, será necessário realizar o planejamento do BI. Um planejamento bem estruturado ajuda a encurtar o prazo de implementação e assim, evitar custos exagerados;
-
Nesta etapa também são definidas as ferramentas de modelagem de dados, de ETL e aquelas que serão utilizadas para apresentar os dados corporativos, sejam elas OLAP ou Data Discovery. As ferramentas de Business Intelligence otimizam o tempo investido em coleta e análise de dados para mensurar resultados e definir estratégias de negócios. Basicamente, essas ferramentas possibilitam a unificação de diferentes informações, mesmo que estejam divididas em diversos tipos de plataformas;
-
Em seguida, é feita a elaboração e apresentação do plano de projeto, onde é importante incluir as ações necessárias para definir, coordenar e integrar todos os planos auxiliares do projeto;
-
Por último, cabe ao comitê, autorizar a execução do projeto.
1.3 - Levantamento dos Dados
-
Após o planejamento é iniciado um sub-processo, denominado "Levantamento dos Dados", onde é feita uma pesquisa na base de dados do cliente. Esta exploração pode ser feita analisando o modelo de dados ou, na falta dele, investigando os dados em suas fontes. Nesta etapa é feita uma aferição dos dados existentes na base e comparados com as informações presentes na Matriz de Necessidades. Ao contrastar o conteúdo de ambos, são definidas as fontes de dados que passarão pelo processo de ETL;
-
Inicialmente o analista de BI deve solicitar o Modelo de Dados do OLTP ao analista de sistemas e/ou DBA, os quais irão verificar sua disponibilidade. Na sua ausência, será facultado ao analista de BI o acesso às fontes de dados;
-
O analista de BI irá comparar as informações presentes na Matriz de Necessidades com os dados encontrados, reconhecer suas semelhanças e classificar as fontes de dados que passarão pelo processo de ETL.
1.4 - Mapeamento da Fonte de Dados
-
Uma vez autorizada a execução do projeto pelo Comitê, damos início ao Mapeamento das Fontes de Dados. Nesta etapa é necessário fazer uso da Matriz de Necessidades elaborada anteriormente para assim, produzir mais 2 artefatos: Mapeamento de Fontes de Dados e o Modelo Dimensional;
-
O documento com o Mapeamento de Fontes de Dados e o Modelo Dimensional são os guias principais confeccionados pelo Analista de BI, onde são identificados os atributos e relacionamentos dos sistemas de operação (OLTP), essenciais para a construção do Data Warehouse.
1.5 - ETL
-
Chegamos então ao sub-processo de ETL (Extração, Transformação e Carga), onde os dados serão importados para uma área do banco de dados, designada de “Staging Area” (Extração), em seguida, serão tratados (transformação), visando melhorar sua qualidade, e por último, os dados serão carregados nas tabelas de Dimensão e Fato (Carga). As tabelas do tipo Dimensão, de forma resumida, podem ser entendidas como as entidades que armazenam os filtros de valores das consultas que serão disponibilizadas pelo Data Warehouse, e guardam informações como tempo, geografia, produto, cliente, etc.. As tabelas do tipo Fato servem para armazenar medidas numéricas associadas a eventos de negócio;
-
Uma vez carregadas as tabelas do tipo Dimensão e Fato, está criado o coração do BI, o chamado Data Warehouse. O conceito de DW objetiva a definição de uma base de dados preparada em vários níveis de granularidade e obtida a partir dos sistemas estruturados. Esses dados deverão estar “mastigados”, integrados e disponíveis, permitindo diversas formas de consultas. Devido ao ambiente projetado, o Data Warehouse é a única fonte de dados, o que facilita muito o trabalho do analista, porque os dados que lá existem estão tratados e não há redundância das informações;
-
Por fim, será necessário elaborar toda a documentação dos metadados, onde nela estará contemplado o processo de construção do DW e o dicionário de dados.
1.6 - Apresentação das Informações
-
Após a criação do DW, é necessário apresentar as informações ao cliente. Para isso, teremos que preparar a camada do usuário na ferramenta (OLAP ou Data Discovery). A camada do usuário ou simplesmente interface, é a camada que interage diretamente com o usuário, e é através dela que são feitas as consultas, visualização dos dashboards, etc;
-
Antes de fazer tal alimentação, é necessário revisar a Matriz de Necessidades (dados levantados, indicadores, perguntas) e assim, definir indicadores;
-
Desta forma, teremos os insumos necessários para realizar a construção dos dashboards. Dashboards são painéis de controle que mostram métricas e indicadores importantes para alcançar objetivos e metas traçadas de forma visual, facilitando a compreensão das informações geradas. O ponto principal em um painel de controle deve estar na sua capacidade de transmitir a informação de forma rápida e eficiente. Basicamente existem 3 tipos de dashboards: os operacionais, que contribuem para monitorar níveis de operação de analistas; os táticos, que permitem ter uma visão de como andam as operações de acordo com as estratégias criadas; e os estratégicos, que normalmente são monitoradas as KPIs (indicadores) e criados scorecards de acordo com metas estabelecidas;
-
Com os dashboards elaborados, chegamos então, ao momento tão aguardado pelo cliente: visualizar e homologar as informações. Nesta etapa, serão apresentados ao cliente os dashboards consolidados, com informações organizadas de números, métricas e scorecards de desempenho. Os painéis devem possuir uma interface personalizada, com informações de acesso rápido e fácil. Ao final desta etapa, a equipe de BI sairá com o “ACEITE” do cliente, o que permitirá o avanço das outras atividades.
1.7 - Implantação
-
Com a aplicação de BI pronta para o uso, os usuários deverão ser capacitados para utilizá-lo. Durante o planejamento dos treinamentos, deverá ser definido quais os usuários que deverão ser treinados. É importante envolver todos os gestores e analistas que utilizarão a ferramenta no dia a dia para a consulta de informações de apoio às decisões. É preciso trabalhar a conscientização, a motivação e o conhecimento das pessoas sobre o que estão sendo implantados, os benefícios, os desafios e a necessidade de colaboração. Deverá ficar explícito que será necessária uma mudança de cultura e hábitos, onde os usuários serão analistas de informações;
-
Após a realização dos treinamentos, é importante o acompanhamento do uso do BI. É necessário que os departamentos especializados validem os indicadores existentes e sugiram a criação de outros novos, viabilizando a continuidade do projeto, uma vez que o BI deve estar em constante evolução, sempre buscando a melhoria contínua dos módulos e das funcionalidades da ferramenta, personalizando cada vez mais seus recursos de acordo com o contexto da empresa.
1.8 - Pós-Implantação
-
Após a implantação do BI, é necessário definir como será seu monitoramento. Iniciamos com a elaboração de um plano de administração de cargas. Nele, deverá ser definida a chamada "janela" de carga. Ou seja, o período que as cargas dos sistemas OLTP e do BI podem ser executadas, de modo que gerem um impacto mínimo aos usuários. Neste plano, também ficará definido os atores e seus papeis na operação;
-
Em seguida, deve ser planificada a administração do espaço em disco, ou seja, definir métricas para controlar o espaço utilizado no banco de dados, onde ficarão os dados da Staging Area, tabelas do tipo Dimensão e tabela do tipo Fato. O objetivo principal é gerenciar o espaço no banco de dados e prever quando será necessário expandi-lo;
-
Depois, inicia-se a elaboração do plano de administração de hardware. Aqui será feito um estudo da capacidade de expansão do BI, para atender um número maior de usuários. No plano, deve ser evidenciada a importância da área de negócios trabalhar em conjunto com a equipe de TI, para que se consiga definir a infraestrutura tecnológica adequada;
-
Ainda na fase da pós-implantação, deverá ser elaborado um plano de administração do log, uma vez que todo banco de dados tem um log que registra todas as transações e modificações feitas. O log de transações é um componente crítico de qualquer banco de dados, e gerenciá-lo é parte essencial da função do seu administrador;
-
Nesta fase também deverá ser definido o plano de validação dos dados. Uma tarefa essencial no BI é garantir a qualidade dos dados e que eles sirvam aos propósitos que se destinam. Na elaboração do plano, aspectos como integridade, confiança, correção, consistência, etc, precisam ser considerados;
-
É importante salientar que o BI deve sempre refletir o modelo de gestão da empresa. Como as empresas estão em constante transformação, isso certamente irá refletir no BI. O projeto de BI não termina após sua implantação, e a inclusão de novos indicadores, novos usuários, alteração na legislação, etc, exigirá uma melhoria contínua no BI, e para tal, deverá ser elaborado um plano de gestão de mudança;
-
Uma vez que o BI esteja implantado, é importante avaliar se o cliente está satisfeito com o projeto. Essa avaliação é necessária para que identifiquemos os pontos fortes e as fraquezas do projeto, na visão do cliente, com o objetivo de aprimorar os serviços prestados e também buscar a expansão do projeto.
Conclusão
Diante de um mercado cada vez mais exigente, as empresas se veem obrigadas a buscar estratégias para se tornarem competitivas. A tecnologia é uma ferramenta importante nesse processo de reestruturação e através dela, é possível transformar os dados em informação qualitativa, propiciando uma gestão eficiente e sustentável. A implantação de um BI em uma empresa tem como intuito principal fornecer aos seus dirigentes informações gerenciais e operacionais, de forma rápida e consistente. Após realizadas todas as etapas para sua criação, a empresa irá possuir em um único repositório, um conjunto de informações confiáveis e consistentes que buscam apoiar o processo decisório da empresa.
A rápida expansão do mercado em busca de soluções do BI nos últimos anos demonstra o quanto as empresas possuem a necessidade de incorporar inteligência de negócios em seus processos. O uso do BI demonstra ser um dos pilares da competitividade do novo milênio, trazendo com ele, mais dinamismo, flexibilidade e redução de custos, visando sempre a melhoria na qualidade do produto ou serviço oferecido.
É importante ressaltar que um projeto de BI não termina após sua implantação. O processo de geração de informações de uma empresa é contínuo. Chegada de novos gestores, novas tecnologias, mudanças no cenário mundial, alterações na legislação, mercado concorrente, etc, são ações que terão reflexos no BI. Com o amadurecimento do sistema, surgirão novos indicadores e usuários, e com isso haverá necessidade da implementação de novos módulos, métricas e indicadores.
Glossário
Bibliografia
Livros:
BARBIERI, Carlos. BI - BUSINESS INTELLIGENCE : MODELAGEM & TECNOLOGIA. [S.l.]: Axcel Books do Brasil Editora, 2001. 424 p.
Material da Internet:
https://www.binapratica.com.br/etapas-bi
http://knowsolution.com.br/implantar-bi-como-fazer-o-processo-e-um-planejamento-de-sucesso/
http://www.inquesti.com.br/blog/conheca-as-principais-ferramentas-de-business-intelligence
https://www.devmedia.com.br/data-warehouse/12609
https://technet.microsoft.com/pt-br/library/ms345583(v=sql.105).aspx
https://canaltech.com.br/infra/a-construcao-de-um-data-warehouse-em-7-etapas/
http://marketingpordados.com/analise-de-dados/o-que-e-dashboard-%F0%9F%93%8A/
https://vivianeribeiro1.wordpress.com/2011/07/12/o-que-e-olap/
https://www.significados.com.br/
https://canaltech.com.br/business-intelligence/conhecendo-a-arquitetura-de-data-warehouse-19266/
Cadastre-se agora mesmo e continue acompanhando os próximos artigos! Inscreva-se AQUI. Veja outros artigos na seção ARTIGOS. Qualquer dúvida ou comentário, utilize a área de CONTATO. Não deixe de participar do nosso GRUPO no Facebook.
Até a próxima!