Montez un cluster spark avec docker
Avant de commencer
Ce TP est noté et se fait en binôme, il est important de vérifier que ces derniers sont corrects sur tomuss (case GroupeTpNote
) et de les modifier sinon. Il ne sera pas possible de changer un groupe après aujourd'hui.
Vérifiez aussi que vous pouvez accéder au Projet du TP : TIW7-Note
Le TP est normalement faisable dans le temps impartit, vous ne devez pas partir sans avoir fait vérifier, par l'un des enseignants, ce que vous avez réussit à faire. Vous devez aussi rendre un rapport en fin de séance. Une grande partie de la note dépendra de votre capacité à suivre les instructions sur place.
Ne vous inquiétez pas si vous ne parvenez pas à terminer aujourd'hui, vous pourrez refaire des machines et rendre un autre rapport d'ici le 18/2/18, un travail correct à cette date devrait vous assurer la moyenne. Attention, pour être comptabilisées, les machines devront être différentes de celle d'aujourd'hui et accessibles par les enseignants.
Attention toutes les machines crées aujourd'hui seront supprimées ce weekend, le projet sera détruit. Vous ne devez pas y laisser de données importantes et si vous travaillez chez vous, utilisez un autre projet. Pour poursuivre le projet chez vous il faut donc tout recommencer ailleur
Introduction
Comme la plupart d'entre vous doivent le savoir, Apache Spark est un framework de calcul distribué. Il est généralement assez compliqué de monter un cluster sans aide, mais vous verrez dans ce TP que docker permet de le faire sans vraiment comprendre le fonctionnement interne de ces outils. En effet, il existe de nombreux exemples proposant des dockers prêts à l'emploi lançant des nœuds de cluster. Il suffit donc de les créer avec les bonnes options.
Pour ce TP je me suis basé sur les dockers proposés par gettyimages ils sont légèrement modifiés pour intégrer l'utilisation d'HDFS dans le cluster. Vous pouvez trouver tout le nécessaireici Cette archive contient :
- Un fichier docker-compose qui décrit le lancement d'un cluster sur une seule machine (pour information uniquement).
- Trois répertoires pour générer des images de docker :
- une image qui sera utilisé comme base par les 2 suivantes;
- une image de master (image de base avec un certain script de lancement);
- une image de slave (image de base avec un autre script de lancement).
- Un répertoire avec les configurations nécessaires au master et au slave.
Ces fichiers ne doivent a mon avis pas être modifiés.
Travail à faire
I. Création des VMs
Utilisez pour ce TP le projet TIW7-Note
dont on peut trouver l'identifiant dans l'onglet Projects
de l'interface horizon.
Grâce à docker machine vous devez créer 2 VMs capables de gérer docker. Ces machines doivent se baser sur le snapshot snap-tpnote
et utiliser le gabari (flavor) m1.small
.
- Dans votre rapport, vous fournirez une copie des commandes
docker-machine
utilisées. - Sur tomuss dans les cases TPNote-IP-Manager et TPNote-IP-Worker vous préciserez leur IP, dans les cases TPNote-Cle-Manager et TPNote-Cle-Worker vous fournirez leur clef ssh (privées)
- La première VM doit s'appeler
manager-vosnom
et la secondeworker-vosnom
Vous devez configurer ces VMs pour participer à un cluster swarm, la première étant nœud manager et la seconde worker.
Enfin vous devez créer un réseau overlay attachable dont le nom est res-spark
et dont les adresses sont 172.30.0.0/24
.
Dans votre rapport, bien sur donnez toutes les commandes utilisées pour faire ces opérations.
II. Création des images
Commencez par créer un registry dans le réseau normal des dockers sur la machine manager et faites en sorte de transférer le port 5000 de l'hôte sur celui du registry.
- Créez les 3 images
hadoopspark-ucbl
,hadoopspark-ucbl-master
ethadoopspark-ucbl-slave
sur le manager. - Ajoutez les 2 images
hadoopspark-ucbl-master
ethadoopspark-ucbl-slave
au registry.
Là encore votre rapport doit mentionner toutes les commandes ou modifications nécessaires.
III. Création du cluster
Sur le nœud manager créez un master spark et un esclave spark. Sur le nœud worker seulement un esclave spark.
Attention de bien configurer les dockers selon c tableau :
Master | Slave1 | Slave2 | |
---|---|---|---|
Réseau | res-spark | ||
Hôte | manager | manager | worker |
IP | 172.30.0.11 | 172.30.0.12 | 172.30.0.13 |
Nom | master | slave1 | slave2 |
Hostname | master | slave1 | slave2 |
Partage de ports | 7077:7077 | 8181:8181 | 8181:8181 |
8080:8080 | |||
Partage de volume | ./conf/master:/conf | /conf/worker:/conf | /conf/worker:/conf |
Host connus | master:172.30.0.11 | master:172.30.0.11 |
De plus, il faut correctement définir les variables d'environnement pour chaque docker :
- Pour le master
SPARK_CONF_DIR=/conf SPARK_PUBLIC_DNS=localhost MASTER=spark://master:7077
- pour les esclaves :
SPARK_CONF_DIR=/conf SPARK_PUBLIC_DNS=localhost SPARK_WORKER_MEMORY=1g SPARK_WORKER_PORT=8881 SPARK_WORKER_WEBUI_PORT=8181
IV Tester le cluster
Le manager doit proposer une interface web à l'adresse http://adressemanager:8080 cette interface doit mentionner les 2 workers. A cause du firewall, il ne doit pas être possible de consulter les interfaces des esclaves sans tunnel ssh.
Test de hdfs
Vous pouvez accéder aux docker en utilisant un shell bash :
docker exec -it master bash docker exec -it slave1 bash docker exec -it slave1 bash
Dans ces dockers, les commande hdfs fonctionne. Vous devez pouvoir créer un répertoire et y copier des fichiers.
hdfs dfs -mkdir /rep
créer un répertoire sur le hdfshdfs dfs -copyFromLocal unfichier /rep
copier un fichier dans le répertoirehdfs dfs -ls /rep
lister les fichiers présent dans le répertoirehdfs dfs -cat /rep/nomfih
afficher le contenu d'un fichier
Une documentation plus poussée des commandes est présente ici
hdfs est fonctionnel si vous pouvez depuis le manager créer un répertoire et copier un petit fichier dedans (de préférence un fichier text). Et si ces modifications sont visible depuis les deux esclaves.
Tester spark
Vous pouvez utiliser le code wordcount par exemple ici, le code en scala est directement utilisable dans un spark-shell
.
Ce code nécessite 2 répertoires hdfs, l'un en entrée et l'un en sortie. Si vous avez préparé un répertoire contenant des fichiers textes, vous pouvez l'utiliser en entrée. Le programme créera lui même le répertoire de sortie (qui ne doit pas exister avant).
Tout fonctionne si le répertoire de sortie contient un fichier SUCCESS
et si les autre fichiers contiennent le nom de fois que chaque mot est présent dans les fichier du répertoire d'entrée.