Data lake

Data lake é um repositório de dados centralizado usado para armazenar grandes volumes de dados brutos em seu formato nativo. Com os data lakes, você tem uma visão não refinada dos dados. Está solução está se tornando uma estratégia de gerenciamento de dados mais comum para empresas que desejam um repositório grande e holístico para seus dados. 

Quando dizemos que os dados são brutos, é porque eles ainda não foram processados para uma finalidade específica. Os dados em um data lake são definidos só após serem consultados. Os cientistas de dados podem acessar as informações brutas quando necessário por meio de modelagem preditiva ou ferramentas analíticas mais avançadas.

Todos os dados são mantidos quando você usa um data lake: nada é removido ou filtrado antes do armazenamento. Os dados podem ser analisados em breve, no futuro ou nunca. Eles também podem ser usados várias vezes para diferentes finalidades, ao contrário de quando os dados são refinados para um fim específico e o reaproveitamento é mais difícil.

Origem do termo "data lake"

O termo "data lake" ("lago de dados", em português) foi criado por James Dixon, CTO da Pentaho. É apropriado descrever esse tipo de repositório como um lago porque ele armazena um conjunto de dados em seu estado natural, como um corpo d'água que não foi filtrado ou contido. Os dados fluem de diversas fontes para o data lake, sendo armazenados no formato original. 

Em um data lake, os dados são transformados apenas quando são necessários para análises, por meio da aplicação de esquemas. Esse processo é chamado de "esquema para leitura" porque os dados são mantidos em estado bruto até que estejam prontos para uso. 

Qual é a vantagem de armazenar dados em um data lake?

Com os data lakes, os usuários acessam e exploram dados da forma que quiserem, sem precisar movê-los para outro sistema. Geralmente, a coleta de insights e a geração de relatórios a partir de um data lake é ad-hoc: os usuários não precisam extrair com frequência relatórios analíticos de outra plataforma ou tipo de repositório. No entanto, os usuários podem aplicar um esquema e automatizar a cópia de um relatório, se necessário. 

Os data lakes exigem governança e manutenção contínuas para os dados poderem ser usados e acessados. Sem esse controle, há o risco deles se tornarem lixo eletrônico – inacessíveis, pesados, caros e inúteis. Os data lakes que se tornam inacessíveis para os usuários são chamados de "data swamps" ("pântanos de dados", em português).

A arquitetura do data lake (em inglês "data lake architecture") é simples porque os dados podem ser estruturados, semiestruturados ou não estruturados. Além disso, eles são coletados de várias fontes dentro da organização, enquanto o data warehouse os armazena em arquivos ou pastas. É possível hospedar o data lake on-premise ou na nuvem.

A arquitetura dos data lakes permite uma escalabilidade massiva que pode chegar aos exabytes. Isso é importante porque, ao criar um data lake, é comum que você não saiba com antecedência que volume de dados será armazenado. Esse tipo de escala não é oferecido por sistemas de armazenamento tradicionais.

Benefícios da arquitetura de data lake

Essa arquitetura é perfeita para cientistas capazes de extrair e explorar dados na empresa, além de fazer o compartilhamento e a referência cruzada deles (incluindo dados heterogêneos de diferentes campos) para fazer perguntas e descobrir novos insights. Os cientistas também podem utilizar a análise de big data e o machine learning para analisar dados em um data lake. 

Embora os dados não tenham um esquema fixo antes do armazenamento em um data lake, a governança deles ainda é importante para evitar o data swamp. É preciso marcá-los com metadados antes de colocá-los nesse tipo de repositório para assegurar que sejam acessíveis depois.

Gerencie aplicações de inteligência artificial e machine learning com mais eficiência

Conheça o ponto de vista de especialistas sobre como simplificar a implantação e o gerenciamento do ciclo de vida de aplicações de inteligência artificial/machine learning (IA/ML). Aprenda com essa série de webinars como criar, colaborar e compartilhar modelos de ML e aplicações de IA aceleradamente.

Com as soluções open source de armazenamento definido por software da Red Hat, você trabalha mais, cresce mais rapidamente e tem a certeza de que todos os dados, incluindo documentos financeiros importantes e arquivos de rich media, estarão armazenados com segurança.

Com o armazenamento escalável, econômico e definido por software, é possível analisar enormes conjuntos de dados em data lakes para ter insights de negócios mais assertivos. As soluções de armazenamento definido por software da Red Hat são todas construídas em open source e aproveitam as inovações de uma comunidade de desenvolvedores, parceiros e clientes. Assim, você tem controle total sobre a formatação e utilização do seu armazenamento, de acordo com as cargas de trabalho, ambientes e necessidades exclusivas da sua empresa.