Big Data : Pig, Hive et Impala avec Hadoop
Objectifs pédagogiques
- Utiliser Hive et Impala pour améliorer la productivité sur les tâches d'analyse typiques
- Automatiser le transfert des données dans le stockage Hadoop avec Flume et Sqoop
- Stocker et analyser des données à l'aide de Hive et Impala
- Interroger plusieurs ensembles de données pour une analyse avec Pig et Hive
- Filtrer les données avec les opérations Extract-Transform-Load (ETL) avec Pig
Public cible
- Architectes techniques
- Développeurs
- DSI
Prochaines Sessions
Inscrivez-vous dès maintenant
Besoin urgent ? Demandez une session personnalisée (délai min. 15-20 jours ouvrés)
Devis personnaliséProgramme Détaillé
- Big Data : problématiques
- L’architecture MapReduce
- Le processus ETL
- Solutions apportées et manques d'Hadoop
- L’environnement d’Hadoop
- Réaliser un stockage fiable et sécurisé
- Surveiller les mesures du stockage
- Contrôler HDFS à partir de la ligne de commande
- Détailler l'approche MapReduce
- Transférer les algorythmes et non les données
- Décomposer les étapes clés d'une tâche MapReduce
- Faciliter l'entrée et la sortie des données
- Agréger les données avec Flume
- Configurer le fan in et le fan out des données
- Déplacer les données relationnelles avec Sqoop
- Définition, caractéristiques et rayon d’action
- Les cas d’utilisation de Pig
- Le langage Pig Latin : caractéristiques et mise en œuvre
- Démarrer avec Pig
- Connaître les types et les caractéristiques de données simples
- Charger les données et définir les champs
- Gérer la sortie des données
- Filtrer les données avec Pig
- Utiliser les principales fonctions de traitement
- Les différents formats de stockage
- Connaître les types et les caractéristiques des données complexes et emboîtées
- Grouper les données et utiliser la fonction built-in
- Programmer des itérations de traitement de données groupées
- Effectuer des combinaisons d’ensembles de données
- Exécuter des opérations sur des groupes de données
- Paramètres avancés
- Utiliser des macros et des fonctions utilisateurs (UDF)
- Utiliser Pig avec d’autres langages
- Méthodes de résolution de problèmes
- Utiliser l’UI web d’Hadoop pour le trouble shooting
- Méthodes de débogage par échantillonnage de données
- Monitoring des performances
- Hive : définition, caractéristiques et rayon d’action
- Le modèle de stockage de données de Hive
- Hive et Pig : concurrence et complémentarités
- Le langage de requête HiveQL
- Démarrer avec Hive
- Les bases et tableaux de données sous Hive
- Connaître les types de données et leurs caractéristiques
- Les formats de données dans Hive
- Méthodes d’assemblage de données et fonctions de built-in
- Construire des bases de données et tableaux de gestion Hive
- Utiliser des tableaux autogérés
- Stocker le résultat des requêtes
- Sécuriser l’accès aux données
- Trier, répartir et regrouper des données
- Réduire la complexité des requêtes avec les vues
- Améliorer la performance des requêtes avec les index
- Concevoir les schémas de Hive
- Établir la compression des données
- Déboguer les scripts de Hive
- Unifier la vue des données avec HCatalog
- Exploiter HCatalog pour accéder au metastore Hive
- Communiquer via les interfaces HCatalog
- Remplir une table Hive à partir de Pig
- Les principes du traitement de données textuelles
- Utiliser les fonctions String
- Principes et applications du « Opinion Mining »
- Mettre en œuvre les bonnes pratiques pour la performance des requêtes
- Paramétrer les requêtes
- Contrôler l’exécution des tâches
- Partitionnement des données, bucketing et indexation
- Utiliser des scripts pour transformer les données
- Mettre en œuvre des fonctions utilisateurs (UDF)
- Impala : définition, caractéristiques et rayon d’action
- Impala, Pig et Hive : concurrence et complémentarités
- Impala dans le monde des bases de données relationnelles
- Exemples d’utilisations du Shell Impala
- Utiliser la syntaxe Impala
- Connaître les types de données et leurs caractéristiques
- Techniques de tri et de filtrage des données récoltées
- Méthodes d’assemblage de données
- Optimiser les performances
- Réduire le temps d'accès aux données avec Shark
- Interroger les données Hive avec Shark
Approche pédagogique
Ressources & Actions
✨ Formations Recommandées
Perfectionnez vos compétences avec ces formations complémentaires
Vous trouverez ici les réponses aux questions les plus fréquentes que nous recevons de la part de nos clients. Notre objectif : vous éclairer et vous accompagner au mieux dans le développement des compétences de vos équipes.
Partie 1 : Nos Formations et Notre Approche Pédagogique
Les deux, mais notre véritable valeur ajoutée réside dans le sur-mesure. Nous partons du principe que chaque entreprise a un contexte, une culture et des défis uniques. Notre processus commence toujours par une phase d'écoute et de diagnostic pour co-construire avec vous le programme qui aura le plus d'impact.
Nos formateurs sont des experts seniors dotés d'une double compétence :
- Une expertise métier solide : Ils ont tous une expérience significative en entreprise au Maroc et comprennent les réalités du terrain.
- Une expertise pédagogique confirmée : Ils sont formés aux techniques d'animation pour adultes, favorisant l'interactivité et la pratique.
Nous nous adaptons à vos contraintes et objectifs avec plusieurs formats :
- Présentiel Intra-entreprise : Chez vous, pour une immersion totale.
- Présentiel Inter-entreprises : Pour favoriser le partage d'expériences.
- Distanciel : Des sessions live, interactives et dynamiques.
Partie 2 : Financement et Aspects Administratifs (Spécificités Marocaines)
Oui, absolument. En tant qu'organisme de formation agréé, nos actions sont éligibles au remboursement via les Contrats Spéciaux de Formation (CSF) gérés par l'OFPPT et les GIAC. C'est un levier essentiel pour optimiser votre budget formation.
Oui, c'est un service clé que nous proposons. Nous vous accompagnons de A à Z dans le montage de votre dossier d'ingénierie financière. Notre expertise du système marocain vous garantit la constitution d'un dossier conforme et le suivi jusqu'au remboursement, transformant cette contrainte administrative en une simple formalité pour vous.
Nos tarifs sont transparents et dépendent de la durée, du niveau de personnalisation, du nombre de participants et du format. Le meilleur moyen d'avoir une idée précise est de nous demander un devis personnalisé et gratuit, qui sera accompagné d'une proposition pédagogique détaillée.
Partie 3 : Processus, Logistique et Suivi
Notre processus est simple et centré sur vos besoins :
- Prise de Contact & Analyse : Échange pour comprendre vos enjeux.
- Proposition sur-mesure : Envoi d'une proposition pédagogique et financière.
- Validation & Planification : Ajustements et fixation du calendrier.
- Réalisation de la Formation.
- Évaluation & Suivi : Mesure de la satisfaction et bilan complet.
Oui. Notre réseau de formateurs nous permet d'intervenir sur l'ensemble du territoire marocain, que vos locaux soient à Casablanca, Rabat, Tanger, Marrakech, Agadir ou dans toute autre ville du Royaume.
Oui, la formation ne s'arrête pas à la fin de la session. Nous assurons un suivi rigoureux : remise des attestations, envoi d'un rapport de synthèse, et mise en place d'une évaluation à froid (quelques semaines après) pour mesurer le transfert des compétences. Des sessions de coaching de suivi sont également possibles.
Partie 4 : Impact et Retour sur Investissement (ROI)
Nous utilisons une approche à plusieurs niveaux (inspirée du modèle de Kirkpatrick) :
- Niveau 1 (Satisfaction) : Évaluation à chaud.
- Niveau 2 (Apprentissage) : Quizz et mises en situation.
- Niveau 3 (Comportement) : Évaluation à froid et entretiens avec les managers.
- Niveau 4 (Résultats) : Analyse de l'impact sur vos indicateurs de performance (KPIs).
Pour trois raisons principales :
- Notre Expertise Locale : Nous sommes des spécialistes du marché marocain et africain, de sa culture et de ses mécanismes administratifs (CSF).
- Notre Approche Sur-Mesure : Nous ne vendons pas de formations, nous construisons des solutions adaptées à votre besoin.
- Notre Engagement sur l'Impact : Nous sommes focalisés sur le retour sur investissement tangible de votre budget formation.
Des questions sur cette formation ?
Notre équipe pédagogique est à votre disposition pour répondre à toutes vos questions et vous accompagner dans votre projet de formation.
La dernière commande pour cette formation a été effectuée il y a 10 jours.
6 personnes regardent actuellement cette page.