Production : Hop Server, tests, CI/CD

À la fin du module, vous savez

• Rendre un pipeline résilient : erreurs, reprises, rejets
• Journaliser et mesurer ce qui s’exécute
• Écrire et lancer des tests unitaires de pipelines
• Déployer sur Hop Server et en conteneur
• Automatiser tests et déploiement dans une chaîne CI

Déroulé

Jour 1 — Robustesse

• Error handling par transform, flux de rejets, stratégies de reprise
• Logging : niveaux, tables d’audit, pipeline log et workflow log
• Tests unitaires : jeux d’entrée, sorties attendues, exécution en ligne de commande
• Structuration : sous-pipelines, réutilisation, conventions de nommage
• Performance : lecture par lots, parallélisme, mesurer avant d’optimiser

Jour 2 — Exploitation

• Hop Server : installation, exécution distante, API REST, sécurisation
• Images Docker officielles, variables d’environnement, secrets
• Ordonnancement : cron, Apache Airflow, ordonnanceurs d’entreprise
• GitLab CI ou GitHub Actions : tests à chaque commit, déploiement à chaque tag
• Atelier : mise en production complète du projet fil rouge