Moderator
Модератор
- Регистрация
- 17.07.2019
- Сообщения
- 70 073
- Реакции
- 206 489
- Онлайн
- 21дн 12ч 4м 16с
Автор:
bigdata team
Название:
Практический курс по Big Data. Часть 2. Spark - from zero to hero (2023)
Описание:
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python API. Spark RDD API;
Broadcast-сообщения и счетчики.
взаимодействие Hive и Spark SQL;
отличия DF от RDD.
Spark on YARN;
типы stage в Spark;
оптимизация операции shuffle;
настройка Garbage Collection, тюнинг потребления памяти.
Подробнее:
Скрытый контент для авторизованных пользователей.
Ссылки и информация для скачивания: