Login / Registre-se Account

Armazenamento

O que é data lake?

Jump to section

O data lake é um tipo de repositório que armazena conjuntos grandes e variados de dados brutos em formato nativo. Com os data lakes, você tem uma visão não refinada dos dados. Essa estratégia de gerenciamento é cada vez mais usada por empresas que querem um grande repositório holístico para armazenar dados. 

Quando dizemos que os dados são brutos, é porque eles ainda não foram processados para uma finalidade específica. Os dados em um data lake são definidos só depois de serem consultados. Os cientistas de dados podem acessar os informações brutas quando necessário por meio de modelagem preditiva ou ferramentas analíticas mais avançadas.

Todos os dados são mantidos quando você usa um data lake: nada é removido ou filtrado antes do armazenamento. Os dados podem ser analisados em breve, no futuro ou nunca. Eles também podem ser usados várias vezes para diferentes finalidades, ao contrário de quando os dados são refinados para um fim específico e o reaproveitamento é mais difícil.

O termo "data lake" ("lago de dados", em português) foi criado por James Dixon, CTO da Pentaho. É apropriado descrever esse tipo de repositório como um lago porque ele armazena um conjunto de dados em seu estado natural, como um corpo d'água que não foi filtrado ou contido. Os dados fluem de diversas fontes para o data lake e são armazenados no formato original. 

Em um data lake, os dados são transformados apenas quando são necessários para análises, por meio da aplicação de esquemas. Esse processo é chamado de "esquema para leitura" porque os dados são mantidos em estado bruto até que estejam prontos para uso. 

Com os data lakes, os usuários acessam e exploram dados da forma que quiserem, sem precisar movê-los para outro sistema. Geralmente, a coleta de insights e a geração de relatórios a partir de um data lake é ad-hoc: os usuários não precisam extrair com frequência relatórios analíticos de outra plataforma ou tipo de repositório. No entanto, os usuários podem aplicar um esquema e automatizar a cópia de um relatório, se necessário. 

Os data lakes exigem governança e manutenção contínuas para que os dados possam ser usados e acessados. Sem esse controle, há o risco deles se tornarem lixo eletrônico – inacessíveis, pesados, caros e inúteis. Os data lakes que se tornam inacessíveis para os usuários são chamados de "data swamps" ("pântanos de dados", em português).


Comparação entre data lake e data warehouse

Muitas vezes, as pessoas confundem data lakes com data warehouses. Na verdade, eles não são a mesma coisa e têm finalidades diferentes. A única similaridade é que ambos são repositórios de big data. Muitas empresas usam as duas soluções para atender a necessidades específicas e alcançar determinadas metas. 

O data warehouse fornece um modelo de dados estruturados projetado para a geração de relatórios. Essa é a principal diferença entre ele e o data lake. Já o data lake armazena dados brutos não estruturados que não têm uma finalidade definida. 

Antes de colocar os dados em um data warehouse, é necessário processá-los. Você precisa decidir quais dados serão incluídos no data warehouse. Isso é chamado de "esquema para gravação". 

Refinar os dados antes de armazená-los em um data warehouse pode ser complicado e demorado: isso pode levar meses ou até mesmo anos no processo e impedindo a coleta imediata. Com um data lake, você coleta os dados instantaneamente e depois descobre uma finalidade para eles.

Por conta de sua estrutura, os data warehouses costumam ser mais utilizados por usuários de negócios que sabem com antecedência quais dados são necessários para a geração de relatórios periódicos. Já os data lakes são mais usados por analistas e cientistas porque eles realizam pesquisas por meio dos dados, que precisam receber análises e filtros mais avançados para se tornarem úteis.

Geralmente, os data lakes e data warehouses também têm hardwares de armazenamento diferentes. Os data warehouses são caros. Já os data lakes custam menos porque têm hardware comum (apesar do grande tamanho).


Arquitetura do data lake

A arquitetura do data lake é simples porque os dados podem ser estruturados, semiestruturados ou não estruturados. Além disso, eles são coletados de várias fontes dentro da organização, enquanto o data warehouse os armazena em arquivos ou pastas. É possível hospedar o data lake on-premise ou na nuvem.

A arquitetura dos data lakes permite uma escalabilidade massiva que pode chegar aos exabytes. Isso é importante porque, ao criar um data lake, é comum que você não saiba com antecedência que volume de dados será armazenado. Esse tipo de escala não é oferecido por sistemas de armazenamento tradicionais.

Essa arquitetura é perfeita para cientistas capazes de extrair e explorar dados na empresa, além de fazer o compartilhamento e a referência cruzada deles (incluindo dados heterogêneos de diferentes campos) para fazer perguntas e descobrir novos insights. Os cientistas também podem utilizar a análise de big data e o machine learning para analisar dados em um data lake. 

Embora os dados não tenham um esquema fixo antes do armazenamento em um data lake, a governança deles ainda é importante para evitar o data swamp. É preciso marcá-los com metadados antes de colocá-los nesse tipo de repositório para garantir que sejam acessíveis depois.

Aprimore o gerenciamento de aplicações de AI/ML

Conheça o ponto de vista de especialistas sobre como simplificar a implantação e o gerenciamento do ciclo de vida de aplicações de inteligência artificial/machine learning (AI/ML). Aprenda com essa série de webinars como criar, colaborar e compartilhar modelos de ML e aplicações de AI de forma acelerada. 


Por que escolher o Red Hat Data Services?

Com as soluções open source de armazenamento definido por software da Red Hat, você trabalha mais, cresce mais rapidamente e tem a certeza de que todos os dados, incluindo documentos financeiros importantes e arquivos de rich media, estarão armazenados com segurança.

Com o armazenamento escalável, econômico e definido por software, é possível analisar enormes conjuntos de dados em data lakes para ter insights de negócios mais assertivos. As soluções de armazenamento definido por software da Red Hat são baseadas no open source e nas inovações de uma comunidade de desenvolvedores, parceiros e clientes. Assim, você tem controle total sobre a formatação e utilização do seu armazenamento, de acordo com as cargas de trabalho, ambientes e necessidades exclusivas da sua empresa.

As ferramentas de armazenamento de dados que você precisa

Red Hat Ceph Storage Logo

Uma plataforma de armazenamento de objetos definido por software que também oferece interfaces para armazenamento em blocos e de arquivos. Ela oferece suporte para a infraestrutura em nuvem, repositórios de mídia, data lakes e sistemas de backup e restauração. Essa plataforma funciona muito bem com o Red Hat OpenStack® Platform.

Red Hat OpenStack Platform product logo

Crie containers e hospede sua plataforma de aplicações em uma infraestrutura de nuvem privada modular e escalável.Combine o OpenStack com o Red Hat Ceph Storage para armazenar objetos, blocos e arquivos e, assim, aprimorar o desempenho da sua nuvem.

Você pode fazer muito mais com o armazenamento