HPC - Recap
Définition : Le terme Calcul intensif - en anglais : High-performance computing - désigne les activités de calculs réalisés sur un
supercalculateur, en particulier à des fins de simulation numérique et de pré-apprentissage d'intelligences artificielles.
il
1 Thousand years ago : Experimental Science (Description of natural phenomena) •
{
@
0
2 Lats few hundread years : Theoretical Science (Newton’s laws, Maxwell’s equations)
3 Last few decades : Computational Science (Simulation of complex phenomena)
4 Today : Data Intensive (Unify theory, experimentation, data captured by instruments, data generated by simulators, machines)
HPC a connu une longue histoire de croissance exponentielle de ses capacités de calcul :
•
Antikythera (mécanisme datant du IIe siècle avant J-C, l’un des premiers calcul mécanique)
⑥
Charles Babbage (machine analytique XIXe)
②
ENIAC (1946 : premier ordinateur électronique à usage général) >
CDC 160A (1960, premier superordinateur commercial)
i
Les problèmes NP-difficiles font référence à une classe de problèmes informatiques notoiremet
difficiles à résoudre efficacement. Ces porblèmes apaprtiennent à la classe : NP (temps
polynomial non déterministe)
Exemple : Problème de voyageur de commerce, compagnies aériennes, Rubik’s Cube, ect
Machine Learning : Branche de l’IA qui permet aux machines d’apprendre et de s’améliorer à partir de données.
Edge Computing : Modèle de traitement de données où le calcul et l’analyse sont effectués près des appreils et des capteurs.
Edge node : Dispositifs locaux qui sont proches des utilisateurs ou des capteurs.
Centre : Représente le cloud ou le centre de données centralisé où les données collectées par les noeufs Edge sont envoyées.
Dans le contexte de l’informatique en périphérie, Edge Node est chargé de l’inférence (utilisation d’un modèle préalablement entrainé)
Une partie des données collectées est envoyée au centre pour un traitement plus approfondi (Center responsable de l’entrainement
continu des modèles)
Le besoin de puissance de calcul :
'
=
à
Tsunami de données générées Décisions intelligentes Prise de décision rapide
Avec l’internet, les médias, les apps, ect, une Les avancées de l’IA et de machine learning La prise de décision rapide est cruciale. Les
quantité de massive de données est générées permettent de prendre des décisions entreprises doivent être en msure d’analyser
et doivent être coolectées / stockées. intelligentes. Cependant ceci demande une rapidement de grandes quantités de données,
grande puissance de calcul. d’identifier des tendances, ect
Exascale era : Période à venir où les supercalculateurs seront capables d’effectuer un quintillion (10^18) d’opéarations à virgule
flottante par seconde. L’ère ouvre de nouvelles possibilités : Modélisation & Simulation / IA / Data analytique / Cloud
il
Challenges for exponential IT : Economy / Energy / Complexity / Disruptions / Speed / Expertise ü
Dennard DRAM : Juin 1969
Loi de Dennard en 1974, décrit une tendance selon laquelle la taille des transistors diminue, leur puissance et leur densité
:
de transistor par unité de surface tout en offrant des performances accrues.
Mémoire DRAM (Dynamic Random Access Memory), type de mémoire volatile pour stocker et accéder rapidement aux
donnés. Contrairement à la SRAM, la DRAM nécessite un rafraichissement périodiques des données pour maintenir leur intégrité
'
SRAM : Mémoire volatile qui stocke les données de manère statique
(données conservées tant que l’alimentaton electrique est
maintenue), plusieurs transistors, pas besoin de rafraichissement ->
Temps d’accès très rapide.
.
DRAM : Mémoire volatile qui stocke les données de manière
dynamique, possède un transistor et un condensateur, les cellules
doivent être rafraichies pour maintenir données, plus dense en
stockage et moins cher.
, Challenge : La bande passante mémoire par coeur se réduit.
La bande passante maximale par SOC (System-on-a-Chip) est calculée en mutipliant le nombre de canaux par la largeur des
canaux et la vitessse de transfert en gigaoctets par seconde (GT/s) "
Ü
Bande passsante maximale par SOC = Nombre de canaux * Largeur des canaux * GT/s
Skylake est le nom de code d’une microarchitecture de processeur dévéloppée par Intel. Cela signifie que deux processeurs
Skylake sont utilisés dans une même configuration de système. Les configurations à double processeur (double socket)
permettent d’utiliser deux processeurs dans un même système pour améliorer les performances et la capacité de traitement.
La latence dans la hierarchie de la mémoire : délais de temps nécessaires pour accéder aux différents niveaux de la mémoire dans
un système informatique. Les niveaux de cache :
L1 (cache de niveau 1) L1 le + rapide, L2 / L3 un peu moins.
L2 (cache de niveau 2)
L3 (cache de niveau 3)
y
Situés plus près du microprocesseur (temps d’accès plus rapides / capacité de stockage + limité)
Mémoire principale : capacité de mémoire plsu importante, mais son accès est plus lent.
La loi de Little est une formule mathématique utilisée en théorie des files d’attente :
Nombre moyen d’éléments dans le système = Débit moyen * Temps moyen de séjour
÷
Concurrency (Nombre d’opérations simultanées) = Latence (temps nécessaire pour
effectuer une opération) * Bande passante (Quantité de données qui peut être
transférée par unité de temps)
Le modèle d’accès est essentiel pour les performances d’un système informatique. Voici quelques modèles d’accès :
Le modèle superscalar fait Le modèle de séléction spéculatie est utilisé lorsqu’une condition de sélection ne peut
référence à l’utilisation de être déterminée à l’avance, et donc plusieurs chemins d’execution sont explorés en
processeurs capables d’executer parallule, suivi de la selecion du resultat.
'
y
Le modèle stencil est utilisé plusieurs instructions en parallèle. Le modèle de réduction est utilisé lorsque
dans les algo qui appliquent des s des opérations doivent être effectuées sur
opérations similaires à chaque
un ensemble de données pour en dériver
élément d’un tableau en utilisant
une valeur agrégée.
des schémas de voisinage.
Les modèles Pack & Expend sont
utilisés pour manipuler les données
:
Le modèle de partition en comprimant ou en étendant un
consiste à diviser un ensemble de données.
problème en sous-problèmes
i
plus petit. Le modèle Nest fait référence à la
:
construction de boucles ou de
structures de controle imbriquées
Le modèle Gather/Scatter pour gérer des opérations
est utilisé pour collecter des répétitives.
données dispersées dans
différentes parties de la
mémoire et les rassembler
en un seul emplacement, ou
i ←
Les modèles de recehrche et de
correspondance sont utilisés pour
trouver des éléments
pour répartir.
Le modèle de Map est correspondants certaines
Le modèle Scan est utilisé pour
utilisé pour appliquer une conditions.
calculer une somme cumutative ou
fonction ou une opération à une opération cumulative sur une
chaque élément d’un séquence d’élément.
ensemble de données.
Fujio Masuoka : ingénieur Japonais, créateur de la mémoire flash. En 1980 il a developpé la technologie de la mémoire Flash qui a
revolutionner le stockage des données.
Mémoire Flash : mémoire non volatile qui peut stocker des données même en l’absence d’alimentation electrique. ne comporte pas de
pièce mobile, plus légère et consomme moins d’énergie.
Définition : Le terme Calcul intensif - en anglais : High-performance computing - désigne les activités de calculs réalisés sur un
supercalculateur, en particulier à des fins de simulation numérique et de pré-apprentissage d'intelligences artificielles.
il
1 Thousand years ago : Experimental Science (Description of natural phenomena) •
{
@
0
2 Lats few hundread years : Theoretical Science (Newton’s laws, Maxwell’s equations)
3 Last few decades : Computational Science (Simulation of complex phenomena)
4 Today : Data Intensive (Unify theory, experimentation, data captured by instruments, data generated by simulators, machines)
HPC a connu une longue histoire de croissance exponentielle de ses capacités de calcul :
•
Antikythera (mécanisme datant du IIe siècle avant J-C, l’un des premiers calcul mécanique)
⑥
Charles Babbage (machine analytique XIXe)
②
ENIAC (1946 : premier ordinateur électronique à usage général) >
CDC 160A (1960, premier superordinateur commercial)
i
Les problèmes NP-difficiles font référence à une classe de problèmes informatiques notoiremet
difficiles à résoudre efficacement. Ces porblèmes apaprtiennent à la classe : NP (temps
polynomial non déterministe)
Exemple : Problème de voyageur de commerce, compagnies aériennes, Rubik’s Cube, ect
Machine Learning : Branche de l’IA qui permet aux machines d’apprendre et de s’améliorer à partir de données.
Edge Computing : Modèle de traitement de données où le calcul et l’analyse sont effectués près des appreils et des capteurs.
Edge node : Dispositifs locaux qui sont proches des utilisateurs ou des capteurs.
Centre : Représente le cloud ou le centre de données centralisé où les données collectées par les noeufs Edge sont envoyées.
Dans le contexte de l’informatique en périphérie, Edge Node est chargé de l’inférence (utilisation d’un modèle préalablement entrainé)
Une partie des données collectées est envoyée au centre pour un traitement plus approfondi (Center responsable de l’entrainement
continu des modèles)
Le besoin de puissance de calcul :
'
=
à
Tsunami de données générées Décisions intelligentes Prise de décision rapide
Avec l’internet, les médias, les apps, ect, une Les avancées de l’IA et de machine learning La prise de décision rapide est cruciale. Les
quantité de massive de données est générées permettent de prendre des décisions entreprises doivent être en msure d’analyser
et doivent être coolectées / stockées. intelligentes. Cependant ceci demande une rapidement de grandes quantités de données,
grande puissance de calcul. d’identifier des tendances, ect
Exascale era : Période à venir où les supercalculateurs seront capables d’effectuer un quintillion (10^18) d’opéarations à virgule
flottante par seconde. L’ère ouvre de nouvelles possibilités : Modélisation & Simulation / IA / Data analytique / Cloud
il
Challenges for exponential IT : Economy / Energy / Complexity / Disruptions / Speed / Expertise ü
Dennard DRAM : Juin 1969
Loi de Dennard en 1974, décrit une tendance selon laquelle la taille des transistors diminue, leur puissance et leur densité
:
de transistor par unité de surface tout en offrant des performances accrues.
Mémoire DRAM (Dynamic Random Access Memory), type de mémoire volatile pour stocker et accéder rapidement aux
donnés. Contrairement à la SRAM, la DRAM nécessite un rafraichissement périodiques des données pour maintenir leur intégrité
'
SRAM : Mémoire volatile qui stocke les données de manère statique
(données conservées tant que l’alimentaton electrique est
maintenue), plusieurs transistors, pas besoin de rafraichissement ->
Temps d’accès très rapide.
.
DRAM : Mémoire volatile qui stocke les données de manière
dynamique, possède un transistor et un condensateur, les cellules
doivent être rafraichies pour maintenir données, plus dense en
stockage et moins cher.
, Challenge : La bande passante mémoire par coeur se réduit.
La bande passante maximale par SOC (System-on-a-Chip) est calculée en mutipliant le nombre de canaux par la largeur des
canaux et la vitessse de transfert en gigaoctets par seconde (GT/s) "
Ü
Bande passsante maximale par SOC = Nombre de canaux * Largeur des canaux * GT/s
Skylake est le nom de code d’une microarchitecture de processeur dévéloppée par Intel. Cela signifie que deux processeurs
Skylake sont utilisés dans une même configuration de système. Les configurations à double processeur (double socket)
permettent d’utiliser deux processeurs dans un même système pour améliorer les performances et la capacité de traitement.
La latence dans la hierarchie de la mémoire : délais de temps nécessaires pour accéder aux différents niveaux de la mémoire dans
un système informatique. Les niveaux de cache :
L1 (cache de niveau 1) L1 le + rapide, L2 / L3 un peu moins.
L2 (cache de niveau 2)
L3 (cache de niveau 3)
y
Situés plus près du microprocesseur (temps d’accès plus rapides / capacité de stockage + limité)
Mémoire principale : capacité de mémoire plsu importante, mais son accès est plus lent.
La loi de Little est une formule mathématique utilisée en théorie des files d’attente :
Nombre moyen d’éléments dans le système = Débit moyen * Temps moyen de séjour
÷
Concurrency (Nombre d’opérations simultanées) = Latence (temps nécessaire pour
effectuer une opération) * Bande passante (Quantité de données qui peut être
transférée par unité de temps)
Le modèle d’accès est essentiel pour les performances d’un système informatique. Voici quelques modèles d’accès :
Le modèle superscalar fait Le modèle de séléction spéculatie est utilisé lorsqu’une condition de sélection ne peut
référence à l’utilisation de être déterminée à l’avance, et donc plusieurs chemins d’execution sont explorés en
processeurs capables d’executer parallule, suivi de la selecion du resultat.
'
y
Le modèle stencil est utilisé plusieurs instructions en parallèle. Le modèle de réduction est utilisé lorsque
dans les algo qui appliquent des s des opérations doivent être effectuées sur
opérations similaires à chaque
un ensemble de données pour en dériver
élément d’un tableau en utilisant
une valeur agrégée.
des schémas de voisinage.
Les modèles Pack & Expend sont
utilisés pour manipuler les données
:
Le modèle de partition en comprimant ou en étendant un
consiste à diviser un ensemble de données.
problème en sous-problèmes
i
plus petit. Le modèle Nest fait référence à la
:
construction de boucles ou de
structures de controle imbriquées
Le modèle Gather/Scatter pour gérer des opérations
est utilisé pour collecter des répétitives.
données dispersées dans
différentes parties de la
mémoire et les rassembler
en un seul emplacement, ou
i ←
Les modèles de recehrche et de
correspondance sont utilisés pour
trouver des éléments
pour répartir.
Le modèle de Map est correspondants certaines
Le modèle Scan est utilisé pour
utilisé pour appliquer une conditions.
calculer une somme cumutative ou
fonction ou une opération à une opération cumulative sur une
chaque élément d’un séquence d’élément.
ensemble de données.
Fujio Masuoka : ingénieur Japonais, créateur de la mémoire flash. En 1980 il a developpé la technologie de la mémoire Flash qui a
revolutionner le stockage des données.
Mémoire Flash : mémoire non volatile qui peut stocker des données même en l’absence d’alimentation electrique. ne comporte pas de
pièce mobile, plus légère et consomme moins d’énergie.
