[Яндекс Практикум] Apache Kafka для разработки и архитектуры [Яндекс Практикум]

[SlivInfoKurs]

Описание:
Всем, стремящимся к повышению масштабируемости и надежности систем, необходимо овладеть навыками работы с Apache Kafka.

Для разработчиков бэкенда
Получите возможность создания масштабных, устойчивых к отказам и гибких систем для обработки данных в реальном времени.

Для архитекторов
Узнайте, как создавать распределённые системы с высоким уровнем интеграции и обеспечивать целостность данных.

Для DevOps-инженеров
Освойте методы автоматизации развертывания, конфигурации, и мониторинга кластеров, что облегчит управление инфраструктурой.

Для инженеров данных
Научитесь построению конвейеров данных для передачи информации из различных источников в системы хранения и обработки.

Курс будет полезен если
Вы владеете одним из таких языков: Java, Python или Golang.
Вы понимаете принципы работы SQL и NoSQL баз данных.
Имеете основные представления о распределенной архитектуре систем.
Вы умеете работать с Linux.
Через 3 месяца вы будете уметь
Настройка Apache Kafka под свои задачи и оптимизация производительности.
Работа с отправителями и получателями сообщений.
Поддержание надежности и отказоустойчивости систем.
Интеграция Kafka с внешними системами.
Проектирование и реализация потоковых пайплайнов данных.
Настраивание мониторинга кластеров Kafka и управление им.

Технологии, которые можно использовать по окончании курса
Apache Kafka
Kafka Connect
Kafka Streams
Интеграция Kafka c Apache Spark
Интеграция Kafka c Apache Flink
Интеграция Kafka c Apache Hadoop
Интеграция Kafka с базами данных
Kafka MirrorMaker
Kafka REST Proxy
Schema Registry

Скрытое содержание: программа курса.
Основы Apache Kafka
Базовые понятия и терминология.
Архитектура Kafka.
Установка и настройка Kafka-кластера.

Производители и потребители
Создание и конфигурация производителей.
Создание и конфигурация потребителей.
Сериализация и десериализация данных.

Топики и партиции
Создание и конфигурация топиков.
Понимание партиций и их влияние на масштабирование.
Репликация данных для отказоустойчивости.

Развертывание базового кластера Kafka
Установка Kafka и ZooKeeper или Kraft.
Создание топиков и работа с сообщениями.

Kafka Streams
Введение в Kafka Streams.
Разрабатываем приложения для потоковой обработки данных.
Агрегация, фильтрация и преобразование данных.

Kafka Connect
Основы работы с Kafka Connect и Debezium.
Разработка коннекторов для интеграции с внешними системами.
Конфигурация и развертывание коннекторов.

Безопасность в Kafka
Аутентификация и авторизация.
Шифрование данных.
Настройка безопасности кластера Kafka.

Создание поточного пайплайна данных
Интеграция Kafka с базами данных.
Построение поточного пайплайна данных.

Администрирование Kafka
Мониторинг и управление кластером Kafka.
Настройка производительности и оптимизация.
Выявление и устранение проблем.

Применение Kafka в продакшене
Развертывание Kafka в продакшен-среде.
Масштабирование и высокая доступность.
Бэкап и восстановление данных.

Интеграция Kafka с Big Data экосистемой
Интеграция с Apache Spark.
Интеграция с Apache Hadoop.
Примеры использования Kafka в Big Data проектах.

Финальный проект
Создайте масштабируемое приложение для обработки данных в реальном времени, используя Kafka, Kafka Streams и интегрируя его с Apache Spark.

Закрытая ссылка

Этот курс появится в скором времени на форуме SLIVINFOKURS.BIZ. Проверьте по поиску форума, возможно данный курс уже слит.

​