Formation SQL distribué

1/ Introduction

• Besoin

• Comment concilier le quoi et le comment ?

• Manipulation de gros volumes de données en conservant une approche utilisateurs

• Stockage et traitements : HDFS, Cassandra, HBase et les formats de données (parquet, orc, raw, clés/valeurs)

2/ PIG

• Introduction: principes et cas d'utilisation

• Pig versus MapReduce

• Pig : développement et intégration avec Java

• Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)

3/ HIVE

• Introduction: principes et cas d'utilisation

• Environnement et configuration

• Hive et métadonnées

• Keywords pour Hive

• Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)

4/ explorer le moteur de requêtes Impala

• Impala : définition, caractéristiques et rayon d’action

• Impala : Contraintes

• Impala dans le monde des bases de données relationnelles

• Exemples d’utilisations du Shell Impala

5/ Presto

• Cadre d'utilisation

• Sources de données utilisables

6/ Spark DataFrame

• Présentation de Spark

• Spark et SQL

• L'API Dataset et DataFrames

• Compilation catalyst

• Syntaxe, opérateurs

• Comparaison avec Presto

7/ Drill/sqoop

• Utilisation d'APIs JDBC, ODBC

• Indépendance Hadoop

• Contraintes d'utilisation

• Performances

8/ Comparatifs

• Compatibilité ANSI/SQL

• Approches des différents produits

• Critères de choix