[Cyber Cultura] Big Data e Data Lake

Estão aí duas buzzwords que estão na moda na área de tecnologia: Big Data e Data Lake.

Tentando explicar um pouco... O Data Lake é, em poucas palavras, um gigantesco repositório de armazenamento de dados que serão utilizados pelos tais "cientistas de dados" para extrair informações relevantes ao negócio. Assim, o Data Lake pode concentrar dados de fontes e usos distintos, que estão tradicionalmente dispersos dentro da empresa.

As soluções de Big Data irão, portanto, se alimentar do Data Lake para extrair e disponibilizar estes dados de forma rápida e que faça sentido ao negócio. Uma solução de Big Data e Data Lake eficaz é capaz de fornecer três funções críticas:

• Armazenamento: O Data Lake é capaz de armazenar dados estruturados e não estruturados para todos os tipos de análise, a partir de muitas fontes diferentes, com capacidade e desempenho conforme necessário para as análises;
• Analise: Fornece gerenciamento de dados e diversas ferramentas de análise;
• Superfície e Ação: fornece os dados para usuários e aplicações para permitir alterações em tempo real nos resultados e influenciar as decisões críticas de negócio.

Aexistência de um Data Lake só é possível hoje em dia graças ao grande barateamento das tecnologias de armazenamento de dados (discos e storages) e das tecnologias de análise em tempo real de grandes volumes de dados. O Big Data é hoje o sonho que o Data Warehouse foi no final da década de 90.

A desvantagem do conceito de Data Lake, para quem trabalha com segurança, é que ele incentiva a empresa a armazenar uma quantidade exorbitante de informações, que devem ser protegidas com todo o cuidado - algo que duvido que esteja acontecendo. Informações provadas e sensíveis talvez nem pudessem ser armazenadas, ou deveriam ser obfuscadas antes de armazenar, para evitar danos aos clientes, usuários e a empresa caso estes dados vazem.