Montez un cluster spark avec docker

Ce TP est noté et se fait en binôme, il est important de vérifier que ces derniers sont corrects sur tomuss (case GroupeTpNote) et de les modifier sinon. Il ne sera pas possible de changer un groupe après aujourd'hui.

Vérifiez aussi que vous pouvez accéder au Projet du TP : TIW7-Note

Le TP est normalement faisable dans le temps impartit, vous ne devez pas partir sans avoir fait vérifier, par l'un des enseignants, ce que vous avez réussit à faire. Vous devez aussi rendre un rapport en fin de séance. Une grande partie de la note dépendra de votre capacité à suivre les instructions sur place.

Ne vous inquiétez pas si vous ne parvenez pas à terminer aujourd'hui, vous pourrez refaire des machines et rendre un autre rapport d'ici le 18/2/18, un travail correct à cette date devrait vous assurer la moyenne. Attention, pour être comptabilisées, les machines devront être différentes de celle d'aujourd'hui et accessibles par les enseignants.

Attention toutes les machines crées aujourd'hui seront supprimées ce weekend, le projet sera détruit. Vous ne devez pas y laisser de données importantes et si vous travaillez chez vous, utilisez un autre projet. Pour poursuivre le projet chez vous il faut donc tout recommencer ailleur

Comme la plupart d'entre vous doivent le savoir, Apache Spark est un framework de calcul distribué. Il est généralement assez compliqué de monter un cluster sans aide, mais vous verrez dans ce TP que docker permet de le faire sans vraiment comprendre le fonctionnement interne de ces outils. En effet, il existe de nombreux exemples proposant des dockers prêts à l'emploi lançant des nœuds de cluster. Il suffit donc de les créer avec les bonnes options.

Pour ce TP je me suis basé sur les dockers proposés par gettyimages ils sont légèrement modifiés pour intégrer l'utilisation d'HDFS dans le cluster. Vous pouvez trouver tout le nécessaireici Cette archive contient :

• Un fichier docker-compose qui décrit le lancement d'un cluster sur une seule machine (pour information uniquement).
• Trois répertoires pour générer des images de docker :
  • une image qui sera utilisé comme base par les 2 suivantes;
  • une image de master (image de base avec un certain script de lancement);
  • une image de slave (image de base avec un autre script de lancement).
• Un répertoire avec les configurations nécessaires au master et au slave.

Ces fichiers ne doivent a mon avis pas être modifiés.

Utilisez pour ce TP le projet TIW7-Note dont on peut trouver l'identifiant dans l'onglet Projects de l'interface horizon.

Grâce à docker machine vous devez créer 2 VMs capables de gérer docker. Ces machines doivent se baser sur le snapshot snap-tpnote et utiliser le gabari (flavor) m1.small.

• Dans votre rapport, vous fournirez une copie des commandes docker-machine utilisées.
• Sur tomuss dans les cases TPNote-IP-Manager et TPNote-IP-Worker vous préciserez leur IP, dans les cases TPNote-Cle-Manager et TPNote-Cle-Worker vous fournirez leur clef ssh (privées)
• La première VM doit s'appeler manager-vosnom et la seconde worker-vosnom

Vous devez configurer ces VMs pour participer à un cluster swarm, la première étant nœud manager et la seconde worker.

Enfin vous devez créer un réseau overlay attachable dont le nom est res-spark et dont les adresses sont 172.30.0.0/24.

Dans votre rapport, bien sur donnez toutes les commandes utilisées pour faire ces opérations.

Commencez par créer un registry dans le réseau normal des dockers sur la machine manager et faites en sorte de transférer le port 5000 de l'hôte sur celui du registry.

• Créez les 3 images hadoopspark-ucbl, hadoopspark-ucbl-master et hadoopspark-ucbl-slave sur le manager.
• Ajoutez les 2 images hadoopspark-ucbl-master et hadoopspark-ucbl-slave au registry.

Là encore votre rapport doit mentionner toutes les commandes ou modifications nécessaires.

Sur le nœud manager créez un master spark et un esclave spark. Sur le nœud worker seulement un esclave spark.

Attention de bien configurer les dockers selon c tableau :

De plus, il faut correctement définir les variables d'environnement pour chaque docker :

• Pour le master

SPARK_CONF_DIR=/conf
SPARK_PUBLIC_DNS=localhost
MASTER=spark://master:7077

• pour les esclaves :

SPARK_CONF_DIR=/conf
SPARK_PUBLIC_DNS=localhost
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=8881
SPARK_WORKER_WEBUI_PORT=8181

Le manager doit proposer une interface web à l'adresse http://adressemanager:8080 cette interface doit mentionner les 2 workers. A cause du firewall, il ne doit pas être possible de consulter les interfaces des esclaves sans tunnel ssh.

Vous pouvez accéder aux docker en utilisant un shell bash :

docker exec -it master bash
docker exec -it slave1 bash
docker exec -it slave1 bash

Dans ces dockers, les commande hdfs fonctionne. Vous devez pouvoir créer un répertoire et y copier des fichiers.

• hdfs dfs -mkdir /rep créer un répertoire sur le hdfs
• hdfs dfs -copyFromLocal unfichier /rep copier un fichier dans le répertoire
• hdfs dfs -ls /rep lister les fichiers présent dans le répertoire
• hdfs dfs -cat /rep/nomfih afficher le contenu d'un fichier

Une documentation plus poussée des commandes est présente ici

hdfs est fonctionnel si vous pouvez depuis le manager créer un répertoire et copier un petit fichier dedans (de préférence un fichier text). Et si ces modifications sont visible depuis les deux esclaves.

Vous pouvez utiliser le code wordcount par exemple ici, le code en scala est directement utilisable dans un spark-shell.

Ce code nécessite 2 répertoires hdfs, l'un en entrée et l'un en sortie. Si vous avez préparé un répertoire contenant des fichiers textes, vous pouvez l'utiliser en entrée. Le programme créera lui même le répertoire de sortie (qui ne doit pas exister avant).

Tout fonctionne si le répertoire de sortie contient un fichier SUCCESS et si les autre fichiers contiennent le nom de fois que chaque mot est présent dans les fichier du répertoire d'entrée.