O que é Dark Data?

Os dados que já existem em sua empresa, mas não estão sendo aproveitados para uma maior percepção e análise, são conhecidos como “Dark Data”, ou “Dados Obscuros”.

Com as poderosas ferramentas de descoberta de dados atuais, as empresas têm mais opções do que nunca em relação à complexidade, quantidade e origem dos dados que analisam, mas na verdade, para muitas, isso não basta. Existem duas opções que as empresas têm ao pesquisar mais dados para analisar:

1. Expandir a descoberta de dados para o mundo dos dados externos;

2. Pesquisar insights que estão ocultos nos dados existentes.

Muitos estão entusiasmados com a ideia de Big Data. É emocionante! É irresistível! Mas é aqui que você deve primeiro se concentrar em reforçar sua estratégia de BI atual com os dados obscuros que existem dentro de sua empresa.

Para o registro, o TARGIT Decision Suite suporta integração e combinação de dados de seu data warehouse, bem como dados externos de quase qualquer fonte de dados imaginável. Se você quiser dados externos, você os terá. Mas, primeiro, queremos ter certeza de que você está atribuindo valor suficiente aos dados úteis que sua empresa está produzindo.

Não é outra palavra da moda

Digamos que você seja uma empresa de distribuição que está acompanhando seus processos de negócios. Você tem uma estratégia sólida de BI e Analytics definida que entrega os relatórios diários e as análises de que você precisa para medir, monitorar e tomar decisões. Mas então algo acontece. O faturamento está caindo. Sua análise existente sinaliza o problema: as vendas estão altas, porém a taxa de devolução também está. Já a sua análise não fornece as informações de que você precisa para descobrir o porquê.

É mais fácil descobrir como aproveitar os dados não utilizados que você já possui do que mergulhar no mundo do big data, 99,9% dos quais são irrelevantes para sua empresa em primeiro lugar. Isso não quer dizer que o aproveitamento de dados internos não envolva um pouco de tentativa e erro e experimentação. Esse é o ciclo de vida do BI. Em particular, a prática de análise de área restrita dentro do ciclo de vida de BI foi projetada para ajudar a trazer dados obscuros para a luz.

BI bimodal

Com a análise de sandbox, um pequeno grupo de usuários de BI faz experiências com dados potencialmente úteis. Se esses dados, de fato, se mostrarem valiosos, só então eles serão distribuídos para uso maior em toda a organização. A capacidade de brincar com conjuntos de big data e analisá-los, além do que já está no data warehouse, incentiva os funcionários a pensar estrategicamente sem a necessidade do empurrão do TI. Este é o BI bimodal.

Vamos voltar ao exemplo daquela empresa de distribuição que não tem uma visão sobre seu problema de faturamento. Há uma série de razões possíveis para um aumento repentino na devolução dos pedidos. Talvez seja um problema de armazenamento de estoque que causa danos na mercadoria. Poderia ser a demora na entrega por ineficiência na rota? Algum ruído na hora da venda? Ou má qualidade dos produtos adquiridos por algum fornecedor em específico?

Com esses palpites em mente, é hora de estudar os dados existentes para ver o que, se houver alguma coisa, sustenta essas hipóteses. Vamos supor que um aumento na taxa de devolução pode estar relacionado a um problema de qualidade. Já o painel atual que exibe os dados inclui somente as vendas e a taxa de devolução, sem mais detalhes. Se o sistema não está atualmente configurado em um modelo de dados existente para essas análises. Não se preocupe.

Data Discovery

Uma ferramenta de descoberta de dados (Data Discovery) abrangente permitirá aos usuários extrair informações que ainda não estão disponíveis para análises e permite que os usuários combinem com os dados que já estão sendo usados ​​em relatórios e análises atuais.

Ao combinar as informações da mercadoria, vinculadas a cada fornecedor, juntamente com os dados já usados, ​​apontando as vendas respectivas e sua devolução, mostra que um novo fornecedor em particular se encontra associado a esse aumento na devolução. A partir do primeiro negócio com esse fornecedor o faturamento começou a cair por consequência do aumento da taxa de devolução, causada pela má qualidade da mercadoria vendida. Esses dados, anteriormente obscuros, podem ser movidos para um modelo de dados existente, agora ou posteriormente, se desejado.

Tendo identificado o problema, a empresa pode agora corrigi-lo e, claro, monitorar o andamento com o BI. Agora que uma causa raiz está em foco, novas práticas recomendadas podem ser aplicadas para melhorar o processo de seleção de fornecedores, por exemplo.

Dados obscuros e sua estratégia de análise

O processo de descoberta de Dados Obscuros internos requer um controle mínimo do pessoal de TI da empresa, pois os usuários de BI podem criar um ambiente experimental por conta própria com as ferramentas certas. Isso é significativamente mais econômico do que criar um ciclo de desenvolvimento completo em torno do que pode ser uma hipótese absurda. Se um palpite não se provar útil no “modo sandbox”, a hipótese pode ser rejeitada e os usuários podem passar para a próxima hipótese rapidamente, sem o uso de muitos recursos.

Descobrir um pouco de Dados Obscuros em um período de tempo relativamente curto – dias, ao contrário de semanas ou meses que levaria realisticamente para um analista de negócios criar uma análise potencialmente valiosa com novos dados externos – adiciona um valor tremendo ao projeto de BI como um todo.

Iluminar os Dados Obscuros pode elucidar muito mais do que um problema em específico. Portanto, da próxima vez que você precisar se aventurar em busca de mais dados, primeiro considere ligar sua lanterna e investigue os dados que você já tem.