Proposition de stage de M2 recherche : (à partir de février 2006) Titre : Interconnexion haute performance : masquer la distance et l'hétérogénéité dans les réseaux de cluster et de grille. Mots-clés : Interconnexion de réseaux, Interface réseau, Grappes et grilles de calcul, Réseaux haute performance, Optimisation de performance, High Performance Computing, Message Passing Interface. L'objectif de ce stage est d'étudier et de comparer diverses solutions d'optimisation des couches de communications se trouvant à l'interface entre les applications et le matériel réseau et ce, dans le contexte hétérogène des grappes de PCs et des grilles de calcul. Dans les grappes ou les grilles de calcul haute-performances, les mécanismes de communication sont souvent implantés de manière très efficace au niveau du matériel réseau. L'objectif est de faire bénéficier les applications de la très faible latence matérielle et des très haut-débits fournis par ce type de réseaux rapides, en minimisant le temps de traversée des couches logicielles qui sépare l'appel à une primitive de communication au niveau applicatif de la prise en compte du transfert par le matériel réseau. Les optimisations proposées seront analysées puis implantées dans des prototypes et expérimentées sur des plate-formes haute performance étendues. Ces expérimentations pourront en particulier prendre place dans le cadre du projet national GRID'5000 qui interconnectent 5000 processeurs géographiquement répartis sur neuf sites à l'échelle de toute la France. Les optimisations peuvent avoir lieu à différents niveaux de la pile des logiciels de communication utilisés dans les grilles : par exemple, au niveau de l'environnement de passage de messages Message Passing Interface (MPI est le standard pour programmer les applications hautes performances parallèles) ou au niveau des couches de communication bas-niveau comme MX/Myrinet ou TCP/IP/Ethernet. Nous souhaitons proposer et comparer des solutions logicielles pour optimiser le traitement des communications dans les grilles de calcul interconnectant des clusters dotés de réseaux rapides. L'utilisation de grappes de calcul distantes introduit plusieurs nouvelles contraintes par rapport à un contexte de grappes locales homogènes : des machines et des réseaux hétérogènes, des latences de communications fluctuantes et éventuellement importantes et des débits de communications pouvant être sujets à des perturbations. Par ailleurs, l'utilisation de grille de calcul telle que GRID'5000 pose le problème des communications en milieu hétérogène. En effet, une grille haute performance est généralement constituée de plusieurs grappes de calcul géographiquement distribuées et interconnectées par un réseau longue distance basé sur la technologie IP voire Ethernet 10Gb/s. D'autre part, chacune de ces grappes de calcul constituant la grille peuvent utiliser des réseaux rapides hétérogènes : Myrinet, Quadrics, Infiniband, Gigabit Ethernet, ... Pour faire tourner des applications efficacement à l'échelle de la grille, il est donc important d'optimiser les communications en milieu hétérogène et en particulier de proposer une interconnexion efficace non seulement entre ces réseaux rapides mais aussi entre ces réseaux rapides et le réseau longue distance. Nous souhaitons donc étudier et proposer des solutions permettant à une application d'utiliser au mieux les ressources d'une grille et en particulier les réseaux haute-performances qui la composent ; cela consiste à aborder les problématiques suivantes : Comment optimiser les communications entre ces réseaux rapides hétérogènes ? Comment s'accommoder de l'hétérogénéité inhérente à la grille, en particulier au niveau des réseaux rapides qui la composent ? Comment obtenir un placement optimal des tâches de l'application en fonction des performances exigées par l'application et des ressources disponibles sur la grille ? Bibliographie :
B. Goglin. Réseaux rapides et stockage distribué dans les grappes de calculateurs : propositions pour une interaction efficace. Thèse de doctorat de l'Ecole Normale Supérieure de Lyon, soutenue le 11 octobre 2005 à l'ENS Lyon. (sujet, manuscrit en pdf, soutenance en pdf) C. Otal. eWAN : Emulateur d'un nuage réseau de grille. Stage Ingénieur de fin d'études de l'Ecole Centrale de Lyon, avril/septembre 2004. (sujet, rapport en pdf, slides en pdf) L. Valeyre. Communication sans appels système par redistribution de la mémoire. Stage Ingénieur de fin d'études de Télécom INT, février/juin 2001. (sujet, rapport en pdf, slides en pdf) D. Abdellou. Portage d'une couche de communication noyau en mode utilisateur. Stage Ingénieur de fin d'études de Télécom INT, février/août 2001. (sujet, rapport en pdf, slides en pdf) L. Lechevallier. Analyses de performances sur la machine parallèle MPC. Stage du DEA Informatique Distribuée de l'Université Paris Sud d'Orsay, mars/août 2001. (sujet, rapport en pdf) E. Dreyfus. Implantation de la bibliothèque de communication MPI pour la machine MPC/LINUX. Stage Ingénieur de fin d'études de Télécom INT, février/août 2000. (sujet, rapport en pdf, slides en tar.gz) Last modified: |