Formation Développement de Scripts avec Pig

1/ Introduction

• Le projet Apache Pig, fonctionnalités, versions

• Présentation de Pig dans l'écosystème Hadoop

• Chaîne de fonctionnement

• Comparatif avec l'approche Hive ou Spark

2/ Exploration de l’outil Apache Pig

• Pig : définition, caractéristiques et rayon d’action

• Les cas d’utilisation de Pig

• Rappels sur les commandes HDFS

• Pré-requis techniques

• Configuration de Pig

• Exécuter les différents modes (interactif ou batch)

• Principe de l'exécution de scripts Pig Latin avec Grunt

3/ Le langage Pig Latin

• Présentation du Pig Latin : Utilisation, Fonctionnement

• Modèles de données avec Pig

• Intégration Pig avec MapReduce

• Chargement des données : PigStorage, Schémas, Commande DESCRIBE

• Sauvegarde de données : DUMP, STORE

• Ordres de base : LOAD, FOREACH, FILTER, STORE

• Création d'un ETL de base

• Contrôle d'exécution

4/ Transformation des données via des opérations de filtre avec Pig Latin

• Groupements, jointures, tris, produits cartésiens

• Transformation de base de la donnée

• Découpages

• Découpages sur filtres

5/ Analyse de la donnée

• Échantillonnages

• Filtres

• Rangements avec rank et dense

• Calculs : min/max, sommes, moyennes, ...

• Traitements de chaînes de caractères et traitement de dates

6/ Intégration

• Formats d'entrées/sorties

• Interfaçage avro, json

• Cargement de données depuis HDFS vers HBase

• Analyse de données Pig/HBase et restitution Json

7/ Extensions du Pig Latin

• Extension du Pig Latin

• Création de fonctions UDF en Java

• Intégration dans les scripts Pig

• Utilisation de Pig Latin depuis des programmes Python

• Exécution de programmes externes, streaming