M
Moderator
Описание:
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
:arrow_forward: подходы к Realtime-обработке;
:arrow_forward: гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
:arrow_forward: Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
:arrow_forward: архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей;
:arrow_forward: семантики доставки сообщений, сжатие данных в Kafka, синхронная и асинхронная репликация.
:arrow_forward: отличия Key-Value хранилищ от реляционных БД;
:arrow_forward: компактификация и её виды, CQLSH;
:arrow_forward: архитектура Cassandra;
:arrow_forward: обеспечение надёжности и высокодоступности в Key-Value хранилищах;
:arrow_forward: интеграция Spark с Cassandra.
:arrow_forward: как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
:arrow_forward: trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
:arrow_forward: форматы данных в Big Data: ORC vs Parquet, Avro, ...