¿Qué quieres aprender?

Big Data con Apache Hadoop y Apache Spark

Big Data con Apache Hadoop y Apache Spark

Culture Lab

Curso online


175

Duración : 3 Meses

¿Quieres hablar con un asesor sobre este curso?

Objetivos

- Entenderás el conjunto de tecnologías que dan soporte a Big Data y el posicionamiento de cada una. - Conocerás y practicarás con los componentes asociados al ecosistema Hadoop: Hive, HDFS, Pig, etc. - Usarás Apache Spark y serás capaz de desarrollar programas de análisis de datos con esta tecnología. - Estarás preparado para participar en un proyecto Big Data real.

A quién va dirigido

Dirigido a programadores, especialistas en el tratamiento masivo de datos, y todos aquellos interesados en conocer estas soluciones del ecosistema Big Data

Requisitos

Para realizar este curso es necesario disponer de experiencia previa en programación en torno a objetos tales como Java, Python, R, o similares.

Temario completo de este curso

Tema 1º Introducción a las Tecnologías Big Data: Apache Hadoop y Apache Spark

  • Lección 1º Introducción al curso
  • Lección 2º ¿Qué es Big Data?
  • Lección 3º Tipos de Big Data y fundamentos
  • Lección 4º Introducción al ecosistema Hadoop
  • Lección 5º Introducción al ecosistema Spark
  • Lección 6º Hadoop VS Spark y casos de uso
  • Instalación de Software

Tema 2º Apache Hadoop: Core

  • Lección 7º Almacenamiento de los datos en Hadoop: HDFS
  • Lección 8º Arquitectura y organización de HDFS
  • Lección 9º Ejemplo de lectura en HDFS
  • Lección 10º Seguridad en HDFS
  • Lección 11º Demostración práctica HDFS (Parte 1)
  • Lección 12º Demostración práctica HDFS (Parte 2)
  • Lección 13º Demostración práctica HDFS (Parte 3)
  • Lección 14º Gestión de recursos y tareas con Yarn
  • Lección 15º Ejemplo de ejecución de una tarea con Yarn
  • Lección 16º Demostración práctica de Yarn (Parte 1)
  • Lección 17º Demostración práctica de Yarn (Parte 2)
  • Lección 18º Demostración práctica de Yarn (Parte 3)
  • Lección 19º Instalación, administración, y monitorización del Cluster con Apache Ambari
  • Lección 20º Pasos para la instalación del Cluster con Apache Ambari
  • Lección 21º Administración de Apache Ambari
  • Lección 22º Demostración práctica con Apache Ambari (Parte 1)
  • Lección 23º Demostración práctica con Apache Ambari (Parte 2)
  • Lección 24º Demostración práctica con Apache Ambari (Parte 3)
  • Lección 25º Seguridad y gobierno de datos con Apache Ragner
  • Lección 26º Seguridad y gobierno de datos con Apache Knox, Sentry y Rhino

Tema 3º Ingesta y transformación de datos en Apache Hadoop

  • Lección 27º Formato de los datos en Apache Hadoop
  • Lección 28º Tipos de formatos, y como escogerlos.
  • Lección 29º Formatos de comprensión de los datos
  • Lección 30º Importación de los datos con Apache Sqoop
  • Lección 31º Herramientas para el uso de Apache Sqoop
  • Lección 32º Conectividad, exportación y rendimiento con Apache Sqoop
  • Lección 33º Problemas frecuentes y Sqoop Server
  • Lección 34º Estructura básica de Apache Flume
  • Lección 35º Eventos y fuentes de entrada de Apache Flume
  • Lección 36º Fuentes de salida, canales y configuración de Apache Flume
  • Lección 37º Ejemplo con Apache Flume
  • Lección 38º Introducción a Apache Kafka
  • Lección 39º Arquitectura y grupos de consumo de Apache Kafka
  • Lección 40º Zookeeper y casos de estudio en Apache Kafka
  • Lección 41º Introducción y funcionalidades con Apache Pig
  • Lección 42º Análisis con Apache Pig Ground
  • Lección 43º Proceso de ejecución con Apache Pig
  • Lección 44º Herramientas ETL: Power Center y Kettle
  • Ejercicios del Tema 3
  • Resolución de ejercicios del Tema 3
Tema 4º Acceso y explotación de datos en Apache Hadoop
  • Lección 45º Análisis de MapReduce
  • Lección 46º Las fases del MapReduce
  • Lección 47º Usos de Imput Format y Mapper
  • Lección 48º Reducer y ejecución especulativa en MapReduce
  • Lección 49º Proceso de ejecución en MapReduce
  • Lección 50º El Teorema CAP
  • Lección 51º Bases de datos NoSQL con HBase
  • Lección 52º Uso de las tablas y Row Key en HBase
  • Lección 53º Acceso, componentes y MasterServer en HBase
  • Lección 54º Operaciones con HBase
  • Lección 55º Origen y organización de Apache Hive
  • Lección 56º Arquitectura de Apache Hive
  • Lección 57º Simulación de consulta en Hive
  • Lección 58º Origen y características de Cloudera Impala
  • Lección 59º Arquitectura de Cloudera Impala y comparativa con Hive
  • Lección 60º Origen y características de Apache Drill
  • Lección 61º Funcionamiento de Apache Drill
  • Lección 62º Fundamentos de Cloudera Impala
  • Lección 63º Arquitectura de Cloudera Impala
  • Lección 64º Comandos y comparativa Impala VS Hive
  • Lección 65º Apache Phoenix
  • Lección 66º Apache Strom
  • Lección 67º Topografía de Apache Strom
  • Ejercicios del Tema 4
  • Resolución de ejercicios del Tema 4
  • Examen 1º

Tema 5º Apache Spark

  • Entorno de Prácticas – Instalación Apache Spark (Parte 1)
  • Entorno de Prácticas – Instalación Apache Spark (Parte 2)
  • Entorno de Prácticas – Primer Arranque con Hortonworks y Cloudera (Parte 1)
  • Entorno de Prácticas – Primer Arranque con Hortonworks y Cloudera (Parte 2)
  • Lección 68º Introducción a la arquitectura de Apache Spark
  • Lección 69º Tipologías de despliegue en Spark
  • Lección 70º Análisis del RDD, gestor de tareas, trasformaciones y persistencia en Spark
  • Lección 71º Componentes adicionales: Spark SQL, Datasets, Dataframes y conversión a RDD
  • Lección 72º Características y acciones principales de Spark Streaming
  • Lección 73º Análisis, usos y ejemplo de Spark Mlib
  • Lección 74º Análisis y usos de Spark GraphX y conclusiones
  • Lección 75º Demostración práctica de Spark con Scala (1º Parte)
  • Lección 76º Demostración práctica de Spark con Scala (2º Parte)
  • Lección 77º Demostración práctica de Spark con Scala (3º Parte)
  • Lección 78º Demostración práctica con MapReduce (1º Parte)
  • Lección 79º Demostración práctica con MapReduce (2º Parte)
  • Lección 80º Demostración práctica con FlatMap Scala (1º Parte)
  • Lección 81º Demostración práctica con FlatMap Scala (2º Parte)
  • Lección 82º Demostración práctica de Spark con Python (1º Parte)
  • Lección 83º Demostración práctica de Spark con Python (2º Parte)
  • Lección 84º Demostración práctica de Spark con Python (3º Parte)
  • Lección 85º Demostración práctica de Spark con R (1º Parte)
  • Lección 86º Demostración práctica de Spark con R (2º Parte)
  • Lección 87º Demostración práctica de Spark con R (3º Parte)
  • Lección 88º Demostración práctica de Spark con R (4º Parte)
  • Lección 89º Demostración práctica de Spark con Java (1º Parte)
  • Lección 90º Demostración práctica de Spark con Java (2º Parte)
  • Lección 91º Operaciones de Spark con Java (1º Parte)
  • Lección 92º Operaciones de Spark con Java (2º Parte)
Tema 6º Arquitectura de Apache Spark
  • Lección 93º Introducción y características de Spark SQL
  • Lección 94º Monitorización, ejecución, Dataframes, y fuentes de datos en Spark SQL
  • Lección 95º Transformaciones y exportaciones con Datasets
  • Lección 96º Características de los Datasets y conversión a RDD
  • Lección 97º Análisis del Streaming estructurado
  • Lección 98º Análisis del Streaming estructurado (2º Parte)
  • Lección 99º Demostración práctica con Spark SQL (1º Parte)
  • Lección 100º Demostración práctica con Spark SQL (2º Parte)
  • Lección 101º Demostración práctica con Spark SQL (3º Parte)
  • Lección 102º Demostración práctica con Spark SQL (4º Parte)
Tema 7º Spark Streaming
  • Lección 103º Conceptos básicos de Spark Streaming
  • Lección 104º Funciones del Socket Receiver y transformaciones en Spark Streaming
  • Lección 105º Operaciones de salida en Spark Streaming
  • Lección 106º Transformaciones con Spark Streaming (1º Parte)
  • Lección 107º Transformaciones con Spark Streaming (2º Parte)
  • Lección 108º Análisis del Checkpointing y persistencia
  • Lección 109º Spark MLib, Dataframes y tablas temporales
  • Lección 110º Práctica Spark Streaming
  • Lección 111º Conclusiones finales
  • Ejercicios del Tema 7
  • Resolución de ejercicios del Tema 7
  • Examen 2º
Ver más