Administrateur big data : installez, administrez et monitorez un cluster hadoop

Introduction :

• Introduire le concept Big Data
• Maitriser l’écosystème Hadoop
• Les fonctionnalités du framework
• Distributions : Apache, Cloudera, Hortonworks, MapR
  • Spécificités de chaque
  • Architecture et principe de
• Terminologie : (Rôle des différents composants)
  • NameNode
  • DataNodes
  • Resource Manager
  • Node Manager
• Le projet et les modules :
  Hadoop Common, HDFS, YARN, Spark, MapReduce. Oozie, Hive , Pig, HBase ..

Les outils Hadoop :

• Infrastructure/Mise en Oeuvre :Avro, Ambari, ZooKeeper, Pig,
• Tez, Oozie, Falcon, Pentaho
• Outils d’ingestion : Sqoop , Flume , Kafka
• Outils de Stockage : Hive , HBase , Cassandra , Elastic Search
• Outils d’analytics : Différents modules de Spark, Mahout , Impala Jupyter , Zeppelin
• Outils de Data Visualisation : Kibana, Hue, Grafana, Spark Notebook
• Outils de planification : Oozie

Hadoop Hortonworks :

Administration avec Ambari, Installation et configuration :

• Première installation et Mise en Oeuvre avec un seul nœud
• Configuration de l’environnement
• étude des fichiers de configuration :
  core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xmlCréation des users pour les daemons hdfs et yarn
• Droits d’accès sur les exécutables et répertoires.
• Lancement des
• Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc ..
• Exemples en ligne de commandes avec hdfs, yarn,
• Travaux pratiques :Organisation et configuration hadoop

Administration Hadoop :

• Outils complémentaires à yarn et hdfs : jConsole, jConsole Exemples sur l’analyse des journaux.
• Principe de gestion des noeuds, accès
• Travaux pratiques : mise en Oeuvre d’un client JMX
• Administration HDFS :présentation des outils de stockage des fichiers, fsck, dfsadmin.
• Mise en oeuvre sur des exemples simples de récupération de fichiers
• Gestion centralisée de caches avec
• Déplacement d’un NameNode.
• Mise en mode maintenance

Sécurité :

• Mécanismes de sécurité et mise en oeuvre pratique Activation de la sécurité avec Kerberos dans :
  • core-site.xml
  • hdfs-site.xml
    pour les NameNode et DataNode.

• Sécurisation de yarn avec la mise en oeuvre d’un proxy et d’un Linux Container Executor
• Travaux pratiques : Mise en place de la sécurité Kerberos sur une distribution Ambari. Création des utilisateurs
• Travaux sur les droits d’accès et les droits d’exécution. Impact au niveau des files Yarn, Oozie et Tez

Exploitation :

• Installation d’une grappe Hadoop avec
• Tableau de
• Lancement des
• Principe de la supervision des éléments par le
• Monitoring graphique avec
• Présentation de Kibana
• Travaux pratiques : Visualisation des alertes en cas d’indisponibilité d’un noeud.
• Configuration des logs avec

-Training : vous participez à la formation et repartez avec un manuel big data

-Training+(1) : Vous participez à la formation, repartez avec un manuel et une clé USB comportant des environnements et logiciels pour vous entrainer

-Training ++ (2) :Vous participez à la formation, repartez avec un manuel et une clé USB d’entrainement. De plus vous continuez à accéder pendant 2 mois au cluster big data, avec un ensemble d’exercices. Ainsi votre montée en compétences est plus rapide.

-Certif (3) :Vous participez à la formation, repartez avec un manuel et une clé USB d’entrainement. Vous passez une certification big data reconnue par …..

1. Le choix de cette formule engendre un coût supplémentaire de 100 euros HT
2. Le choix de cette formule engendre un coût supplémentaire de 200 euros HT
3. Le choix de cette formule engendre un coût supplémentaire de 500 euros HT

DATASOFT CONSULTING est le seul organisme de formation à offrir de prolonger votre apprentissage chez vous en accédant à un environnement big data multinode
Les formateurs sont des experts techniques et business de DATASOFT CONSULTING , Ils sont en activité travaillant pour de grands comptes sur des projets à fortes valeurs ajoutées liés au Big Data.
Nous vous offrirons également un kit d’outils et de documents qui vous permettront d’être autonome en disposant d’un environnement Big Data avec tout l’écosystème nécessaire pour travailler sur vos propres PC.
La formation s’appuie sur de nombreux cas pratiques inspirés de cas d’usages réels rencontrés par nos experts en entreprise