Il corso Big Data Frameworks fornisce una panoramica completa dei principali framework di big data utilizzati per l’elaborazione e l’analisi di grandi volumi di dati. Gli studenti impareranno a utilizzare framework come Hadoop, Spark, Flink e Kafka per gestire e analizzare dati su larga scala. Il corso copre anche argomenti come l’archiviazione dei dati, la trasformazione dei dati (ETL) e l’analisi in tempo reale.

Contenuti

• Definizione di Big Data;
• Panoramica dei principali framework di big data (Hadoop, Spark, Flink, Kafka);
• Componenti principali di Hadoop;
• Hadoop Distributed File System (HDFS);
• MapReduce e YARN.
• Installazione e configurazione di Hadoop;
• Esecuzione di lavori MapReduce;
• Utilizzo di HDFS;
• Architettura di Spark;
• Resilient Distributed Dataset (RDD);
• Esecuzione di operazioni su RDD;
• Esempi di trasformazioni e azioni;
• Introduzione a DataFrame e Spark SQL;
• Introduzione a Spark Streaming;
• Esecuzione di operazioni di streaming di base;
• Architettura di Flink;
• Differenze tra Flink e Spark;
• Esecuzione di operazioni di batch e streaming;
• Flink DataSet e DataStream API;
• Pianificazione e implementazione di un flusso ETL con Flink;
• Architettura di Kafka;
• Concetti chiave: Producer, Consumer, Broker;
• Installazione e configurazione di un cluster Kafka;
• Creazione e gestione di topic;
• Esecuzione di operazioni di streaming con Kafka;
• Integrazione di Kafka con Spark e Flink.