Databricks Delta Lake + APACHE HOP: Carga e Dados

Unindo as grandes ferramentas de ingestão de dados e operacionalização de dados no Databricks

Ratings 4.56 / 5.00
Databricks Delta Lake + APACHE HOP: Carga e Dados

What You Will Learn!

  • Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks
  • Construindo Delta Lake com processamento em batch, streaming em lote
  • Controle de transações sobre os dados, como um banco de dados
  • Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake
  • Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos
  • Uso das fases de ingestão, refinamento e enriquecimento dos dados
  • Diferenças das arquiteturas Data Lake x Delta Lake
  • Aprendendo como otimização dos processos de coleta e tratamento dos dados, reduzindo o tempo de processamento e descartando o que não for útil
  • Trabalhando a criação de tabelas Delta e como gerar históricos de dados
  • Trabalhando com cluster, DBFS, Notebook em R, Scala, Pyhton e SQL
  • Delta Time Travel como retornar versões de dados e comandos de controle
  • Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo
  • Executando reversões nos dados, evitando duplicação e realizando refinamento, ajustes, atualizações e exclusões dos dados
  • Executando scripts batch e streaming
  • Entendo o que significa checkpoint e controle de gravações dos dados
  • Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta
  • O que é  Hop Orchestration Platform
  • Entendendo sobre fluxos de trabalho e pipelines
  • Entendendo sobre projetos e ambientes
  • Instalação do APACHE HOP
  • Criando pipelines com arquivos texto
  • Realizando tratamento de dados para entendimento do processo de engenharia de dados
  • O que são transformações, links e ações dentro de um pipeline
  • Construindo um workflow, orquestrador da sequência das operações
  • Entendendo o HOP GUI e seus componentes
  • Entendendo menu barras, principal e perspectivas
  • Criando sua área de projetos
  • Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
  • Entendendo o que é : View output, Preview output , Debug output
  • Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exis
  • Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
  • Construindo Workflow com execução de pipelines
  • Entendo o uso de variáveis globais no APACHE HOP
  • Automatização de pipeline ou workflow pelo HOP-RUN
  • Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
  • Instalação de banco de dados Postgresql, usando PGAdmin
  • O que é Business Intelligence (BI)
  • O que é Data Warehouse (DW)
  • Como criar as tabelas staging, dimensão e fato
  • Construção da carga dim_tempo
  • Como o APACHE HOP pode se tornar um integrador de dados e construção de projetos de DW
  • Entendendo o que é HOP projects
  • Como funciona um pipeline e um workflow
  • Interface de trabalho do APACHE HOP
  • Instalação do APACHE HOP e do banco Postgres
  • Entendendo sobre Modelagem Multidimensional
  • Preparação de dados e construção de pipelines e workflow das cargas do DW
  • O que são dimensões Slow Change Dimension 1 e 2
  • Executando os pacotes via HOP RUN
  • Construindo o tratamento de dados e ajustes em campos
  • Identificando as informações inconsistentes e armazenando no DW para ajustes

Description

Este é um daqueles cursos que o profissional busca conhecimento sobre como construir um pipeline eficiente e performático e que resolva os problemas da sua organização, mas a pergunta principal seria, como posso manusear estas ferramentas de uma forma orquestrada, organizada que permita a construção de forma rápida e intuitiva?

Por isso, trazemos a junção do APACHE HOP e do Databricks Delta Lake, que fará com que você resolva seus problemas com dados. O que podemos garantir que aprenderá neste curso:

Na primeira parte do curso do APACHE HOP que vem completo, com atividades para tratamento e ingestão de dados para que você projete e construa um Data Warehouse, utilizando componentes 100% gráficos e de fácil manuseio, você não precisará digitar nenhum código, o APACHE HOP é low code, será possível combinar, enriquecer, limpar e de muitas outras maneiras manipular dados. A ideia é que você faça a leitura de dados, realize os ajustes e tratamentos no conteúdo (limpeza de inconsistências, criação de campos, composição de campos, dentre outros). 

Na segunda parte com APACHE HOP vamos construir um Data Warehouse com uma explanação sobre o que é BI, DW, como funciona a staging área, o que são dimensões e fatos e tudo que você tem direito sobre este mundo de dados. Iremos construir um projeto do zero para informações sobre vendas, trabalhando com tabelas de departamento, produto e vendedor. Ao final iremos construir um workflow, que terá todos os pipelines de cargas juntos e como podemos executá-lo dentro da ferramenta APACHE HOP e fora dela.

Depois fecharemos com o curso mais solicitado nas organizações Databricks Delta Lake, faremos uma grande explanação sobre Databricks e suas aplicações, falaremos do que é mais importante no Delta Lake o controle de transações dos dados, onde trabalharemos com arquivos parquet, mas sendo consumidos e trabalhados com operações conhecidas em banco de dados. Databricks Delta Lake é o que de mais moderno em plataforma para cloud que utilizam o SPARK como seu motor de processamento e que permitem controlar todas as transações sobre seus dados de forma nativa.

Então venha e comece hoje mesmo!

Who Should Attend!

  • Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
  • Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
  • Profissionais que, de alguma forma, utilizam dados no seu dia a dia

TAKE THIS COURSE

Tags

  • Data Warehouse
  • Databricks

Subscribers

15

Lectures

64

TAKE THIS COURSE



Related Courses