Szüksége van egy olyan gépre, amely több száz billió lebegőpontos számítást képes végrehajtani másodpercenként? Vagy szüksége van egy bár történetre arról, hogy az alagsorában található szuperszámítógép megfordította a megszakítót? Saját High Performance Compute klaszter, más néven szuperszámítógép felépítése kihívást jelent minden szakértő számára, aki egy hétvégi szabadidővel és némi elégetendő készpénzzel képes megbirkózni. Technikailag a modern, többprocesszoros szuperszámítógép egy számítógépek hálózata, amelyek párhuzamosan dolgoznak a probléma megoldásán. Ez a cikk röviden ismerteti a folyamat minden lépését, a hardverre és a szoftverre összpontosítva.
Lépések
1. lépés Először határozza meg a szükséges hardverösszetevőket és erőforrásokat
Szüksége lesz egy fejcsomópontra, legalább egy tucat azonos számítási csomópontra, egy Ethernet -kapcsolóra, egy áramelosztó egységre és egy rackre. Határozza meg az elektromos fogyasztást, a hűtést és a szükséges helyet. Döntse el azt is, hogy melyik IP -címet kívánja privát hálózatainak, hogyan nevezze el a csomópontokat, milyen szoftvercsomagokat szeretne telepíteni, és milyen technológiát szeretne biztosítani a párhuzamos számítási képességekhez (erről később).
- Bár a hardver drága, az útmutatóban felsorolt összes szoftver ingyenes, és a legtöbb nyílt forráskódú.
- Ha szeretné látni, hogy elméletileg milyen gyors lenne a szuperszámítógép, használja ezt az eszközt:
2. lépés. Építse fel a számítási csomópontokat
Össze kell állítania a számítási csomópontokat, vagy meg kell szereznie az előre elkészített szervereket.
- Válasszon olyan számítógépes szerverházat, amely maximalizálja a helyet, a hűtést és az energiahatékonyságot.
- Vagy használhat egy tucat használt, elavult szervert - amelyek egésze meghaladja az alkatrészek összegét, de jelentős mennyiségű készpénzt takarít meg. Minden processzornak, hálózati adapternek és alaplapnak azonosnak kell lennie ahhoz, hogy az egész rendszer jól játszhasson. Természetesen ne feledkezzen meg az egyes csomópontok RAM -ról és tárhelyéről, és legalább egy optikai meghajtóról a fejcsomópontról.
3. lépés. Telepítse a kiszolgálókat a rackbe
Kezdje alulról, így az állvány nem túl nehéz. Szüksége lesz egy barátra, aki segít ebben - a sűrű szerverek nagyon nehézek lehetnek, és nehéz őket az állványba tartó sínekbe vezetni.
4. lépés. Szerelje be az Ethernet kapcsolót a szerver alváza fölé
Szánjon erre a pillanatra a kapcsoló konfigurálásához: engedélyezze a 9000 bájtos jumbo keretméreteket, állítsa az IP -címet az 1. lépésben eldöntött statikus címre, és kapcsolja ki a szükségtelen útválasztási protokollokat, például az SMTP Snooping -ot.
5. lépés. Szerelje be a PDU -t (Power Distribution Unit)
Attól függően, hogy mekkora áramra lehet szüksége a csomópontoknak maximális terhelés esetén, 220 voltra lehet szüksége a nagy teljesítményű számításhoz.
6. lépés: Ha minden telepítve van, megkezdheti a konfigurációs folyamatot
A Linux a HPC klaszterek de facto operációs rendszere - nemcsak ideális környezet a tudományos számítástechnikához, de nem kerül semmibe, ha több száz vagy akár ezer csomópontra telepíti. Képzelje el, mennyibe kerülne a Windows telepítése ezekre a csomópontokra!
- Kezdje az alaplap BIOS és firmware legújabb verziójának telepítésével, amelynek minden csomóponton azonosnak kell lennie.
- Telepítse a kívánt linux disztribúciót minden csomópontra, grafikus felhasználói felülettel a fejcsomóponthoz. A népszerű lehetőségek közé tartozik a CentOS, az OpenSuse, a Scientific Linux, a RedHat és az SLES.
- Ez a szerző erősen javasolja a Rocks Cluster Distribution használatát. Amellett, hogy telepíti a számítási fürt működéséhez szükséges összes eszközt, a Rocks nagyszerű módszert alkalmaz számos példány nagyon gyors elosztására a csomópontokra a PXE rendszerindítás és a Red Hat „Kick Start” eljárás segítségével.
7. lépés Telepítse az üzenetátadó felületet, az erőforrás-kezelőt és a többi szükséges könyvtárat
Ha nem telepítette a Rocks alkalmazást az előző lépésben, akkor manuálisan kell beállítania a szükséges szoftvert a párhuzamos számítási mechanizmusok engedélyezéséhez.
- Először is szüksége lesz egy hordozható bash-kezelő rendszerre, például a Torque Resource Manager-re, amely lehetővé teszi a feladatok felosztását és több gépre történő szétosztását.
- A beállítás befejezéséhez párosítsa a nyomatékot a Maui fürtütemezővel.
- Ezután telepítenie kell az üzenetátadó felületet, amely szükséges ahhoz, hogy az egyes folyamatok a külön számítási csomópontokon ugyanazokat az adatokat osszák meg. Az OpenMP nem gond.
- Ne felejtse el a többszálas matematikai könyvtárakat és fordítókat a párhuzamos számítási programok felépítéséhez. Mondtam már, hogy csak telepítenie kell a Rocks -t?
8. lépés Hálózza össze a számítási csomópontokat
A fejcsomópont elküldi a számítási feladatokat a számítási csomópontoknak, amelyeknek vissza kell küldeniük az eredményt, valamint üzeneteket kell küldeniük egymásnak. Minél gyorsabb, annál jobb.
- Használjon privát ethernet hálózatot a fürt összes csomópontjának összekapcsolásához.
- A fejcsomópont NFS, PXE, DHCP, TFTP és NTP szerverként is működhet az Ethernet hálózaton keresztül.
- Ezt a hálózatot el kell különítenie a nyilvános hálózatoktól, így biztosítva, hogy a műsorszóró csomagok ne zavarják a helyi hálózat többi hálózatát.
9. lépés. Tesztelje a fürtöt
Az utolsó dolog, amit érdemes megtenni, mielőtt kiadja ezt a számítási teljesítményt a felhasználóknak, tesztelje a teljesítményét. A HPL (High Performance Lynpack) benchmark népszerű választás a klaszter számítási sebességének mérésére. Forrásból kell lefordítania az összes lehetséges optimalizálást, amelyet a fordító a kiválasztott architektúrához kínál.
- Természetesen forrásból kell lefordítania a platform minden lehetséges optimalizálási lehetőségét. Például, ha AMD processzorokat használ, fordítson Open64 -gyel -0 gyors optimalizálási szinttel.
- Hasonlítsa össze eredményeit a TOP500.org webhelyen, és hasonlítsa össze klaszterét a világ leggyorsabb 500 szuperszámítógépeivel!
Videó - A szolgáltatás használatával bizonyos információk megoszthatók a YouTube -lal
Tippek
- Az igazán nagy hálózati sebességekért nézze meg az InfiniBand hálózati interfészeket. Légy kész prémium árat fizetni.
- Az IPMI egyszerűvé teheti egy nagy fürt adminisztrációját a KVM-over-IP, a távoli áramkör-ciklus és így tovább.
- A Ganglia segítségével figyelje a csomópontok számítási terhelését.
