Hypercube (communication pattern)

The ${\displaystyle d}$-dimensional hypercube is a network topology for parallel computers with ${\displaystyle 2^{d}}$ processing elements. The topology allows for an efficient implementation of some basic communication primitives such as Broadcast, All-Reduce and Prefix sum.^[1] The processing elements are numbered from ${\displaystyle 0}$ to ${\displaystyle 2^{d}-1}$. Each processing elements is then adjacent to processing elements whose numbers differ in exactly one bit. The algorithms described on this page utilize this structure efficiently.

Outline

Most of the communication primitives presented in this article share a common template^[2]. Initially, each processing element possesses one message that must reach every other processing element during the course of the algorithm. The following pseudo code sketches the communication steps necessary. Hereby, Initialization, Operation and Output are placeholder that depend on the given communication primitive (see next section).

Input: message ${\displaystyle m}$ .
Output: depends on initialization, operation und output.
Initialization
${\displaystyle s:=m}$ 
for ${\displaystyle 0\leq k<d}$  do
    ${\displaystyle y:=i{\text{ XOR }}2^{k}}$ 
    Send ${\displaystyle s}$  to ${\displaystyle y}$ 
    Recieve ${\displaystyle m}$  from ${\displaystyle y}$ 
    Operation${\displaystyle (s,m)}$ 
endfor
Output

Each processing element iterates over its neighbors (the expression ${\displaystyle i\oplus 2^{k}}$  negates the ${\displaystyle k}$ -th bit in ${\displaystyle i}$ 's binary representation, therefore obtaining the numbers of its neighbors). During an iteration, each processing element exchanges a message with the neighbor and processes the received message afterwards. The processing operation depends on the communication primitive.

 

Outline applied to the ${\displaystyle 3}$ -dimensional hypercube. In the first step (before any communication), each processing element possesses one message (blue). Communication is marked red. After each step, the processing elements store the received message, but other operations are also possible.

Communication Primitives

Prefixsum

At the beginng of a prefixsum operation each processing unit ${\displaystyle i}$  owns a message ${\displaystyle m_{i}}$ . At the end each processing unit ${\displaystyle i}$  should recieve ${\displaystyle \bigoplus _{0\leq j\leq i}}$ , where ${\displaystyle \oplus }$  is an associative operation. The following pseudo code describes the algorithmn.

input: message ${\displaystyle m_{i}}$  of processor ${\displaystyle i}$ .
output: prefixsum ${\displaystyle \bigoplus _{0\leq j\leq i}}$  of processor ${\displaystyle i}$ .
${\displaystyle x:=m_{i}}$  
${\displaystyle \sigma :=m_{i}}$ 
for ${\displaystyle 0\leq k\leq d-1}$  do
    ${\displaystyle y:=i{\text{ XOR }}2^{k}}$ 
    Send ${\displaystyle \sigma }$  to ${\displaystyle y}$ 
    Recieve ${\displaystyle m}$  from ${\displaystyle y}$ 
    ${\displaystyle \sigma :=\sigma \oplus m}$ 
    if bit ${\displaystyle k}$  in ${\displaystyle i}$ then ${\displaystyle x:=x\oplus m}$ 
endfor

Bei der Präfixsumme besitzt jeder Prozessor ${\displaystyle i}$  zu Beginn eine Nachricht ${\displaystyle m_{i}}$ . Das Ziel ist es, dass jeder Prozessor ${\displaystyle i}$  am Ende ${\displaystyle \bigoplus _{0\leq j\leq i}}$  für eine assoziative Operation ${\displaystyle \oplus }$  erhält. Der Algorithmus kann wie folgt in die Algorithmenskizze eingebettet werden:

Eingabe: Nachricht ${\displaystyle m_{i}}$  auf Prozessor ${\displaystyle i}$ .
Ausgabe: Präfixsumme ${\displaystyle \bigoplus _{0\leq j\leq i}}$  auf Prozessor ${\displaystyle i}$ .
${\displaystyle x:=m_{i}}$  
${\displaystyle \sigma :=m_{i}}$ 
for ${\displaystyle 0\leq k\leq d-1}$  do
    ${\displaystyle y:=i{\text{ XOR }}2^{k}}$ 
    Sende ${\displaystyle \sigma }$  an ${\displaystyle y}$ 
    Empfange ${\displaystyle m}$  von ${\displaystyle y}$ 
    ${\displaystyle \sigma :=\sigma \oplus m}$ 
    if Bit ${\displaystyle k}$  in ${\displaystyle i}$  gesetzt then ${\displaystyle x:=x\oplus m}$ 
endfor

Ein Hyperwürfel der Dimension ${\displaystyle d}$  kann in zwei Hyperwürfel der Dimension ${\displaystyle d-1}$  zerlegt werden. Dazu wird im Weiteren der Teilwürfel aller Knoten, deren Nummer in Binärdarstellung mit 0 beginnen, als 0-Teilwürfel bezeichnet. Die restlichen Knoten bilden analog den 1-Teilwürfel. Nachdem in beiden Teilwürfeln die Präfixsumme berechnet wurde, muss die Gesamtsumme der Elemente im 0-Teilwürfel noch auf alle Elemente des 1-Teilwürfels aufaddiert werden. Das liegt daran, dass nach Definition die Rechner im 0-Teilwürfel einen kleineren Rang als die Rechner im 1-Teilwürfel besitzen. In der Implementierung speichert jeder Knoten deswegen neben seiner Präfixsumme (Variable ${\displaystyle x}$ ) außerdem die Summe über alle Elemente im Teilwürfel (Variable ${\displaystyle \sigma }$ ). So können in jedem Schritt alle Knoten im 1-Teilwürfel die Gesamtsumme über den 0-Teilwürfel beziehen.

Bei der Laufzeit ergibt sich ein Faktor von ${\displaystyle \log p}$  für ${\displaystyle T_{\text{start}}}$  und ein Faktor von ${\displaystyle n\log p}$  für ${\displaystyle T_{\text{byte}}}$ : ${\displaystyle T(n,p)=(T_{\text{start}}+nT_{\text{byte}})\log p}$ .

Hypercubes of dimension ${\displaystyle d}$  can be split into two hypercubes of dimension ${\displaystyle d-1}$ .

 

Beispiel für eine Präfixsummenberechnung. Jeder Knoten startet mit seiner eigenen Knotennummer als Nachricht, d.h. ${\displaystyle m_{i}=i}$ . Die obere Zeile eines Knotens zeigt ${\displaystyle x}$ , die untere Zeile ${\displaystyle \sigma }$ . Die Operation ist Addition.

Gossip / All-Reduce

Gossip operations start with each processing unit having a message ${\displaystyle m_{i}}$ . After the operation is finished each processing unit knows the messages of all other processing units, so has the message ${\displaystyle x:=m_{0}\cdot m_{1}\dots m_{p}}$ . The operation can be implemented following the algorithmn template.

input: message ${\displaystyle x:=m_{i}}$  at processing unit${\displaystyle i}$ .
output: all messages ${\displaystyle m_{1}\cdot m_{2}\dots m_{p}}$ .
${\displaystyle x:=m_{i}}$ 
for ${\displaystyle 0\leq k<d}$  do
    ${\displaystyle y:=i{\text{ XOR }}2^{k}}$ 
    Send ${\displaystyle x}$  to ${\displaystyle y}$ 
    Recieve ${\displaystyle x'}$  from ${\displaystyle y}$ 
    ${\displaystyle x:=x\cdot x'}$ 
endfor

With each iteration the transfered message doubles in length. This leads to a run-time of ${\displaystyle T(n,p)\approx \sum _{j=0}^{d-1}(T_{\text{start}}+n\cdot 2^{j}T_{\text{byte}})=\log(p)T_{\text{start}}+(p-1)nT_{\text{byte}}}$ .

All-Reduce is an operation Bei der Gossip Operation startet jeder Rechner mit einer Nachricht ${\displaystyle m_{i}}$ . Ziel ist es, dass nach der Ausführung jeder Rechner die Nachrichten aller Rechner kennt, also über die Nachricht ${\displaystyle x:=m_{0}\cdot m_{1}\dots m_{p}}$  verfügt, wobei ${\displaystyle \cdot }$  die Konkatenation bezeichne. Diese Operation kann wie folgt mit der Algorithmenskizze implementiert werden:

Eingabe: Nachricht ${\displaystyle x:=m_{i}}$  auf Prozessor ${\displaystyle i}$ .
Ausgabe: Alle Nachrichten ${\displaystyle m_{1}\cdot m_{2}\dots m_{p}}$ .
${\displaystyle x:=m_{i}}$ 
for ${\displaystyle 0\leq k<d}$  do
    ${\displaystyle y:=i{\text{ XOR }}2^{k}}$ 
    Sende ${\displaystyle x}$  an ${\displaystyle y}$ 
    Empfange ${\displaystyle x'}$  von ${\displaystyle y}$ 
    ${\displaystyle x:=x\cdot x'}$ 
endfor

Der Ablauf folgt der Skizze. Man beachte, dass sich die Länge der übermittelelten Nachrichten in jedem Schritt verdoppelt. Dadurch ergibt sich folgende Laufzeit: ${\displaystyle T(n,p)\approx \sum _{j=0}^{d-1}(T_{\text{start}}+n\cdot 2^{j}T_{\text{byte}})=\log(p)T_{\text{start}}+(p-1)nT_{\text{byte}}}$ .

Bei All-Reduce werden im Gegensatz zu Gossip die Nachrichten nicht konkateniert, sondern ein Operator auf die zwei Nachrichten angewandt. Es ist also eine Reduce-Operation deren Ergebnis jedem Prozessor zur Verfügung steht. Im Hyperwürfel lässt sich der Gossip-Algorithmus anpassen. Dies reduziert die Anzahl der Kommunikationsschritte gegenüber Reduce und Broadcast.

All-to-All

Bei der All-to-All Kommunikation hat jeder Prozessor eine eigene Nachricht für alle anderen Prozessoren.

Eingabe: Nachrichten ${\displaystyle m_{ij}}$  auf Prozessor ${\displaystyle i}$  an Prozessor ${\displaystyle j}$ .
for ${\displaystyle d>k\geq 0}$  do
   Erhalte von Prozessor ${\displaystyle i{\text{ XOR }}2^{k}}$ :
       alle Nachrichte für meinen ${\displaystyle k}$ -dimensionalen Teilwürfel
   Sende an Prozessor ${\displaystyle i{\text{ XOR }}2^{k}}$ :
       alle Nachrichte für seinen ${\displaystyle k}$ -dimensionalen Teilwürfel
endfor

Eine Nachricht kommt in jedem Iterationsschritt eine Dimension näher an ihr Ziel, sollte sie es noch nicht erreicht haben. Demnach werden nur maximal ${\displaystyle d=\log {p}}$  viele Schritte benötigt. In jedem Schritt werden ${\displaystyle p/2}$  Nachrichten verschickt. Für den ersten Schritt liegen genau die Hälfte der Nachrichten nicht im eigenen Teilwürfel. In den allen folgenden Schritten ist der Teilwürfel nur noch halb so groß wie davor, allerdings wurden im vorhergegangenem Schritt genauso viele Nachrichten von einem anderen Prozessor erhalten, die auch für diesen Teilwürfel bestimmt sind.

Insgesamt bedeutet dies eine Laufzeit von: ${\displaystyle T(n,p)\approx \log {p}(T_{\text{start}}+{\frac {p}{2}}nT_{\text{byte}})}$ 

ESBT-Broadcast

Der ESBT-Broadcast (Edge-disjoint Spanning Binomial Tree) Algorithmus^[3] ist ein zeitoptimaler Broadcast für Rechnerbündel mit Hyperwürfel-Netztopologie. Dazu wird das Netz ausgehend von der Quelle (im Folgendem der ${\displaystyle 0}$ -Rechner) in ${\displaystyle d}$  kantendisjunkte Binomialbäume aufgeteilt, so dass jeder Nachbar der Quelle die Wurzel eines Binomialbaums mit ${\displaystyle 2^{d}-1}$  Rechnern ist. Die Quelle zerteilt ihre Nachricht nun in ${\displaystyle k}$  Teilnachrichten, die dann zyklisch an die Wurzeln der Binomialbäume verteilt werden. Jeder Binomialbaum führt anschließend einen Broadcast aus.

Verteilt die Quelle in jedem Schritt eine Teilnachricht, hat sie nach ${\displaystyle k}$  Schritten alle Teilnachrichten verteilt. Der Broadcast in einem Binomialbaum benötigt ${\displaystyle d}$  Schritte. Insgesamt werden somit ${\displaystyle k+d}$  Schritte benötigt, bis der Broadcast für die letzte Nachricht abgeschlossen ist und die Laufzeit ergibt sich zu ${\displaystyle T(n,p,k)=\left({\frac {n}{k}}T_{\text{byte}}+T_{\text{start}}\right)}$ . Das optimale ${\displaystyle k^{*}={\sqrt {\frac {nd\cdot T_{\text{byte}}}{T_{\text{start}}}}}}$  minimiert die Laufzeit zu ${\displaystyle T^{*}(n,p)=n\cdot T_{\text{byte}}+\log(p)\cdot T_{\text{start}}+{\sqrt {n\log(p)\cdot T_{\text{start}}\cdot T_{\text{byte}}}}}$ .

Aufbau der Binomialbäume

 

A ${\displaystyle 3}$ -dimensional hypercubes with three ESBT embedded.

Die ${\displaystyle d}$  Binomialbäume können systematisch nach der folgender Vorschrift konstruiert werden. Dazu wird zunächst ein Binomialbaum mit ${\displaystyle 2^{d}}$  Knoten definiert. Anschließend werden durch Translation und Rotation ${\displaystyle d}$  kantendisjunkte Kopien des Binomialbaums in den Hyperwürfel eingebettet.

Ein einzelner Binomialbaum hat Knoten ${\displaystyle 0}$  als Wurzel. Die Kinder eines Knotens ergeben sich durch Negation der führenden Nullen in der Binärdarstellung der Knotennummer. Der so resultierende Graph ist offensichtlich ein Binomialbaum. Die Kantenmenge des ${\displaystyle k}$ -ten Binomialbaums im Hyperwürfel erhält man nun wie folgt: auf jeden Knoten wendet man eine XOR-Operation mit ${\displaystyle 2^{k}}$  an und verschiebt die Binärdarstellung der Knotennummer anschließend um ${\displaystyle k}$  Stellen zyklisch nach rechts. Die so entstehenden ${\displaystyle d}$  Kopien des ausgehenden Binomialbaums sind kantendisjunkt und erfüllen somit die Voraussetzungen des ESBT-Broadcast Algorithmus.

Referenzen

1. Grama, A.(2003). Introduction to Parallel Computing. Addison Wesley; Auflage: 2 ed. ISBN: 978-0201648652.
2. Foster, I.(1995). Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering. Addison Wesley; ISBN: 0201575949.
3. Johnsson, S.L.; Ho, C.-T. (1989). "Optimum broadcasting and personalized communication in hypercubes". IEEE Transactions on Computers. 38 (9): 1249–1268. doi:10.1109/12.29465. ISSN 0018-9340.