Formation Apache Kafka : écosystème centralisé de streaming

1/ Introduction à apache Kafka

• Enjeux du Big Data et Stream Data

• L’historique du projet Kafka

• L’intérêt de Kafka dans le Big Data

• Fonctionnalités, principe de fonctionnement de Kafka

• La réponse de Kafka, ses cas d’utilisation

• L’architecture fonctionnelle de Kafka

• Les composants du système : brokers, topics, consumers, producers…

• Comparaisons entre les différents brokers et Kafka

• Communication entre applications

• Liaison avec Zookeeper

• Rationale de Kafka

• Les différentes APIs

• Outils connexes

2/ Mise en œuvre

• Préconisations d'installation et pré-requis

• Installer Kafka, Mise en service

• Configurer les composants

• Installer l’écosystème de développement de Kafka

• Installer le matériel nécessaire

• Effectuer des manipulations de base

• Gérer, administrer et compacter les Logs

• Présentation des commandes en ligne

• Effectuer les actions de base sur les topics

• Mise en oeuvre d'une chaîne de base

• Visualisation des messages avec kafka-console-consumer

• Mise en œuvre de Zookeeper

3/ Configuration et utilisation des APIS

• Utiliser l’API pour les Producers

• Utiliser l’API pour les Consumers

• Configurer le Broker de message

• Configurer les Producers et les Consumers

• Streams API

• Connect API

• AdminClient API

4/ Architecture à haute disponibilité

• La réplication : Facteur de réplication, Partitions

• Brokers

• Les nœuds Zookeeper, distribution

• Plateforme Confluent : Schema Registry et REST Proxy

• Kafka Connect

• Gestion des groupes et des charges

• Considération sur le réseau

• Architecture avec Multi-Data-centers

5/ Vue d'ensemble de ksql et écosystème

• Cas d'utilisation de KSQL

• KSQL et Kafka

• Utilisation interactive de KSQL

• Architecture de KSQL

• KSQL CLI

• Les modes serveur de KSQL

6/ Utiliser KSQL

• Kafka Streams et Tables

• Message Kafka et formats de données

• Manipulation et agrégation de données

• Fonctions définies par l'utilisateur (UDF)

• Enrichissement des données et jointures

• Agrégations fenêtrées (Windowed opération)

• Métrique et observabilité

7/ Kafka connect

• Présentation des fonctionnalités

• Types de connecteurs

• Data-stream scalable avec Kafka Connect

• Utiliser Kafka Connect pour l’intégration de données

8/ Kafka streams

• Cas d’usages et principes de base

• Exemple d’utilisation de l’API Streams

• Les apports de Kafka Streams : applications temps réel et micro-services

• Configuration d’une application Streams

• Topologie d’une application Streams

• Opérations Stateless et Stateful

• Kafka Streams DSL

• Les opérations de type fenêtre glissante

• L’API processeur

9/ Mise en place de la sécurité du système

• Comprendre les enjeux et les principes de sécurité d’un système Kafka

• Chiffrement SSL et authentification SASL

• Utiliser des listes de contrôle ACL pour les autorisations

• Authentifier avec Zookeeper

10/ Les outils autour de kafka

• Outils de gestion de Kafka

• Monitoring de Kafka

• Apache Avro