Data Science [bigdata team] Практический курс по Big Data. Часть 2. Spark - from zero to hero (2023)

Описание:

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:
:arrow_forward: cхема выполнения задачи в Spark;
:arrow_forward: основные термины Spark (job, task, stage);
:arrow_forward: представление вычислений в виде графа. Spark Python API. Spark RDD API;
:arrow_forward: Broadcast-сообщения и счетчики.
:arrow_forward: взаимодействие Hive и Spark SQL;
:arrow_forward: отличия DF от RDD.
:arrow_forward: Spark on YARN;
:arrow_forward: типы stage в Spark;
:arrow_forward: оптимизация операции shuffle;
:arrow_forward: настройка Garbage Collection, тюнинг потребления памяти.