hop-04

Passer à l’échelle : Hop sur Apache Beam

Runners Spark, Flink, Dataflow. Batch et streaming avec Kafka. Ce qui marche, ce qui ne marche pas, et comment le contourner.

Expert

À la fin du module, vous savez

Comprendre le modèle Beam et ses runners
Configurer un pipeline Hop pour Spark, Flink ou Dataflow
Concevoir du batch et du streaming compatibles Beam
Repérer les transforms non supportés et les contourner

Déroulé

Beam : modèle unifié batch et streaming, runners, portabilité
Configurations d’exécution Beam dans Hop : Direct, Spark, Flink, Dataflow
Transforms Beam : fichiers, BigQuery, Kafka, Pub/Sub
Fenêtrage et traitement en continu avec Kafka
Transforms compatibles, transforms à éviter, contournements
Atelier : le même pipeline en local, puis sur un runner distribué, puis en streaming

Prêt à ouvrir Hop GUI ?

Six places par session. Devis sous 48 h, financement OPCO possible.

Réserver une place