Master en Azure Databricks & Spark para Data Engineers [A-Z]

Descripción

¡Master en Azure Databricks & Spark para Data Engineers [A-Z]! Este curso de Azure Databricks está diseñado para profesionales de datos, ingenieros y analistas que desean aprender a procesar, transformar y analizar grandes volúmenes de datos en la nube de Microsoft Azure. A lo largo del curso, los participantes explorarán la arquitectura de Databricks, su integración con otros servicios de Azure y las mejores prácticas para el manejo de datos a gran escala utilizando Apache Spark. Durante el curso, los estudiantes aprenderán: • Introducción a Azure Databricks • Fundamentos de Apache Spark y su arquitectura distribuida. • Creación y configuración de clusters en Azure Databricks. • Uso de notebooks colaborativos con Python (PySpark), SQL, Scala y R. • Procesamiento y Almacenamiento de Datos con Delta Lake • Conceptos de Delta Lake y su importancia en la gestión de datos transaccionales. • Creación de tablas Delta para mejorar la confiabilidad y el rendimiento de las consultas. • Implementación de Time Travel y optimización con comandos como OPTIMIZE y VACUUM. • Gestión de Datos con Unity Catalog • Introducción a Unity Catalog para la gobernanza centralizada de datos. • Control de acceso basado en roles (RBAC) y auditoría de datos. • Organización y administración de metadatos en entornos multi-workspace. • Integración con Azure Storage Account y Azure Data Lake • Configuración de Azure Storage Account para almacenar y acceder a datos desde Databricks. • Integración con Azure Data Lake Gen2 para manejar grandes volúmenes de datos estructurados y no estructurados. • Implementación de estrategias de particionado y compresión para mejorar el rendimiento. • Orquestación de Pipelines con Azure Data Factory • Automatización de flujos de datos mediante Azure Data Factory (ADF). • Creación de pipelines para la ingesta, transformación y carga de datos en Databricks. • Uso de conectores para integrar Databricks con diversas fuentes de datos. • Optimización y Buenas Prácticas • Estrategias de optimización de código y ejecución en Databricks. • Uso de caché, particiones y distribución de datos en Spark. • Monitoreo y depuración de trabajos en Databricks. Los temás que aprenderá en el curso son: • Crear una cuenta en Azure • Azure Databricks • Databricks Cluster • Databricks Notebooks • Acceder a Azure Data Lake Storage desde Databricks • Seguridad de Acceso a Azure Data Lake Storage • Databricks File System(DBFS) • Montaje de Contenedores Data Lakes en Databricks • Explicación Proyecto “Movie” • Apache Spark • Trabajar con archivos CSV • Trabajar con archivos JSON • Trabajar con Múltiples Archivos • Databricks Workflows • Transformaciones de “Filter” y “Joins” • Agregaciones(Aggregations) • Vistas en Spark • Spark SQL - Database / Table / View • Spark SQL - Filter / Join / Aggregation • Spark SQL - Analysis • Incremental Load(Carga Incremental) • Delta Lake • Azure Data Factory(ADF) • Conectar Databricks con PowerBI • Subir Proyecto al Repositorio • Introducción - Unity Catalog • Proyecto - Unity Catalog Este curso es práctico y aprenderás escribiendo código/comandos. Trabajaras con una variedad de Datos a los largo de todo el curso, también se vas a poder realizar cuestionarios para poder reforzas tus conocimientos que vas a ir adquieriendo a lo largo del curso y podrás realizar ejercicios que se plantean en cada sección. Este curso es ideal para tí sin importar el conocimiento o perfil profesional que estes desarrollando, sin duda te ayudará a obtener nuevos conocimientos y crecer profesionalmente. ¡Así que te espero en este curso, un fuerte abrazo!

Lo que aprenderás

• Aprender a utilizar la plataforma de Databricks.
• Procesamiento de Datos de carga Completa e Incremental en modo batch.
• Aprenderás las mejores prácticas de seguridad en Databricks.
• Construirás procesos Pipeline ETL usando Apache Spark SQL y Python.
• Orquestar los Pipeline mediante Databricks y Azure Data Factory(ADF).
• Aprenderás a conectar Azure Databricks con PowerBI.
• Aprenderás a construir un proyecto de datos utilizando Azure Databricks y Spark Core.
• Aprenderás sobre los Clusters, Notebooks, Pools, Jobs en Azure Databricks.
• Aprenderás sobre Unity Catalog y las capacidades que ofrece.
• Aprenderás sobre la arquitectura Data Lake y la arquitectura Lakehouse.
• aprenderás a cómo implementar una arquitectura Lakehouse utilizando Delta Lake.
• Aprenderás a implementar el espacio de trabajo Databricks habilitado para Unity Catalog.

Requisitos

• Conocimientos básicos en SQL.
• Conocimientos básicos en Python.
• Deseable pero NO necesario conocimientos sobre los fundamentos en la nube.
• Muchas ganas de Aprender.