Studenci - aktualności

Trzy superkomputery z ACK Cyfronet AGH na liście TOP500

Zdjęcie przedstawia jasną halę, w której znajduje się rząd jednakowych rozmiarów szaf z modułami superkomputera. Front szaf zdobi ogromna abstrakcyjna grafika utrzymana w niebieskiej kolorystyce. Z prawej strony widać napis "PROMETHEUS" oraz mały logotyp "CYFRONET". Z lewej strony grafiki znajduje się podobizna człowieka oraz płomienie.

Superkomputer Prometheus. Fot. AGH

Trzy superkomputery z ACK Cyfronet AGH na liście TOP500
superkomputery

Po raz pierwszy w historii na liście najszybszych superkomputerów świata TOP500 znalazły się jednocześnie trzy superkomputery z jednego polskiego centrum obliczeniowego. Są to działające w Akademickim Centrum Komputerowym Cyfronet AGH: Athena, Ares i Prometheus. Athena jest obecnie najszybszym superkomputerem w Polsce i zajmuje 105 pozycję w zestawieniu. Ponadto trzy superkomputery Cyfronetu znalazły się na liście Green500 – najbardziej ekologicznych superkomputerów, w tym Athena na pozycji 9.

Athena – najszybszy superkomputer w Polsce

Athena osiąga teoretyczną moc obliczeniową ponad 7,7 PetaFlopsów (7709 TeraFlopsów), co sprawia, że jest to obecnie najszybszy superkomputer w Polsce. Zainstalowany w 2021 r. w Cyfronecie AGH system ma dostarczyć polskiemu środowisku naukowemu i gospodarce najnowocześniejsze zasoby obliczeniowe oparte o procesory i akceleratory GPGPU najnowszej generacji wraz z niezbędnym podsystemem składowania danych opartym o bardzo szybkie pamięci flash. Konfiguracja Atheny obejmuje: 48 serwerów z procesorami AMD EPYC i 1 TB pamięci RAM (w sumie 6144 rdzenie obliczeniowe CPU) oraz 384 karty GPGPU NVIDIA A100.

Niezbędnym elementem umożliwiającym wykorzystanie tak dużej mocy obliczeniowej w efektywny sposób jest zapewnienie wysokowydajnej sieci wewnetrznej superkomputera (Infiniband HDR o przepustowosci 4 x 200 Gb/s na serwer) oraz bardzo szybkiego podsystemu dyskowego. Jest on zbudowany w oparciu o otwarte oprogramowanie Lustre, używane również w systemach dyskowych superkomputerów Prometheus i Zeus, oraz dedykowane serwery dyskowe wyposażone w pamięci flash w standardzie NVMe. System został zainstalowany w istniejącym centrum danych Cyfronetu oraz zintegrowany z infrastrukturą PLGrid.

Tego typu infrastruktura wychodzi naprzeciw potrzebom użytkowników superkomputerów Cyfronetu AGH, którzy wykorzystują infrastrukturę obliczeniową zarówno do wykonywania standardowych wysokowydajnych symulacji naukowych (HPC), jak i do aplikowania metod sztucznej inteligencji (AI) i uczenia maszynowego (ML) w badaniach z zakresu medycyny, farmakologii, biologii, chemii, fizyki oraz wielu innych dziedzin nauki. Moc obliczeniowa Atheny dla obliczeń AI to prawie 240 PetaFlopsów!

Spodziewanym efektem dostarczenia specjalizowanych zasobów obliczeniowych Atheny będzie poszerzenie zakresu prowadzonych prac badawczych, możliwość podejmowania zaawansowanych symulacji i analiz oraz zwiększenie możliwości przetwarzania spływających w sposób ciągły danych z laboratoriów z całego świata. Bezpośrednim spodziewanym efektem prowadzonych prac będą artykuły i opracowania naukowe, patenty, a w dalszej perspektywie nowatorskie rozwiązania, które mogą być podstawą dla powstawania nowych rozwiązań w gospodarce.

Ares – nowa postać na polskiej arenie naukowej

Sumaryczna, teoretyczna wydajność części CPU Aresa to ponad 3,5 PetaFlopsów (3510 TeraFlopsów), a części GPU to ponad 500 TFlops. Aresa wspomaga również system dyskowy o pojemności ponad 11 PB. Do przesyłania danych używana jest sieć typu InfiniBand EDR. Superkomputer posiada 37 824 rdzenie obliczeniowe oraz 147,7 TB pamięci RAM. Na liście TOP500 (czerwiec 2022) Ares zajął pozycję nr 290.

Uruchomiony w 2021 r. superkomputer Ares jest zbudowany z serwerów obliczeniowych z procesorami firmy Intel (model Xeon Platinum), podzielonych na trzy partycje:

  • 532 serwery wyposażone w 192 GB pamięci RAM,
  • 256 serwerów wyposażonych w 384 GB pamięci RAM,
  • 9 serwerów, każdy posiadający 8 kart NVIDIA Tesla V100.

Ares uzupełnił zasoby obliczeniowe Cyfronetu AGH o procesory nowszej generacji oraz z wykorzystaniem serwerów z większą ilością dostępnej pamięci. Jego udostępnienie skróciło czas obliczeń zadań naukowych oraz umożliwiło analizę problemów, które do tej pory nie mogły być uruchamiane w dużej skali ze względu na niewystarczającą ilość pamięci na dostępnych wcześniej zasobach. Dodatkowo umiejscowienie Aresa w Zapasowym Centrum Danych w innej geograficznie lokalizacji niż Prometheus gwarantuje zachowanie ciągłości świadczenia usług obliczeniowych w przypadku nagłych zdarzeń losowych.

Prometheus – szybki i energooszczędny

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 r. jest niezmiennie notowany na liście TOP500 najszybszych superkomputerów świata. W najnowszej edycji zajął 476 lokatę. Pozycję tę zapewnia mu moc obliczeniowa ponad 2,3 PetaFlopsów (2349 TeraFlopsów), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53 748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Serwery obliczeniowe klastra chłodzone są bezpośrednio cieczą co zapewnia wysoką energooszczędność. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU.

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:

  • klasycznych serwerów obliczeniowych, z wysoko wydajnymi procesorami Intel Xeon Haswell i Intel Xeon Gold,
  • zestawu serwerów z procesorami graficznymi NVIDIA K40 XL,
  • partycji akceleracyjnej z kartami GPGPU NVIDIA K80 oraz akceleratorami Intel Xeon Phi i Nallatech FPGA,
  • partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100.

Wszystkie superkomputery zostały zainstalowane w nowoczesnych halach komputerowych Cyfronetu, specjalnie przystosowanych do eksploatacji takich maszyn. Prawidłowe funkcjonowanie superkomputerów zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Urządzenia do chłodzenia superkomputerów. Fot. ACK CYFRONET AGH

Zdjęcie dachu podłużnego budynku. NA pierwszym planie widać podwójne rzędy turbin wiatraków odpowiadających za wymianę powietrza.

Czołówka światowej wydajności energetycznej

Równolegle do ogłoszenia listy TOP500 superkomputerów o największej mocy obliczeniowej publikowana jest lista Green500 superkomputerów najbardziej ekologicznych, czyli o najwyższej wydajności energetycznej, obliczanej jako współczynnik ilości operacji zmiennoprzecinkowych na sekundę (mocy obliczeniowej superkomputera) do poboru energii: Gflops/W. Szczególnym sukcesem jest zajęcie przez Athenę 9 miejsca na liście Green500 najbardziej efektywnych energetycznie superkomputerów świata. Ta pozycja świadczy o doskonałym stosunku udostępnianej mocy obliczeniowej do poboru energii elektrycznej. Na liście Green500 nie zabrakło też Aresa i Prometheusa: Ares znalazł się w pierwszej setce, na 83 miejscu, natomiast Prometheus zajął 162 miejsce. Oba te systemy chłodzone są bezpośrednio cieczą co ułatwiło uzyskanie tak wysokiej energooszczędności.

Obliczenia naukowe z różnych dziedzin

Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: fizyki, chemii, biologii, medycyny i technologii materiałowej, a także astronomii, geologii, ochrony środowiska. Tematy badawcze dotyczą między innymi: analizy dynamicznej ceramicznych materiałów kompozytowych, modelowania i optymalizacji prototypu energooszczędnego pojazdu napędzanego wodorowym ogniwem paliwowym, symulacji dynamiki molekularnej elektrolitów dla ogniw jonowych czy użycia metod kwantowych do analizy obrazów. Naukowcy prowadzą również badania ekspresji genów u dorszy z Morza Bałtyckiego, badania oddziaływania peptydów fuzyjnych wirusa grypy z błonami lipidowymi, analizy wpływu podziemnego zatłaczania płynów na spadki naprężeń indukowanych wstrząsów sejsmicznych oraz badania procesów mikrofizycznych w plazmie kosmicznej. Superkomputery w Cyfronecie dostępne w ramach infrastruktury PLGrid są również wykorzystywane na potrzeby fizyki wysokich energii (projekty ATLAS, LHCb, ALICE i CMS), astrofizyków (CTA, LOFAR), nauk o Ziemi (EPOS), europejskiego źródła spalacyjnego (ESS), biologów (WeNMR) i badaczy z dziedziny nauk humanistycznych i społecznych (CLARIN).

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie został ogłoszony Frontier, zainstalowany w Oak Ridge National Laboratory (ORNL) w USA. Frontier to pierwszy superkomputer, który przekroczył barierę 1 eksaflopa (1018) operacji zmiennoprzecinkowych na sekundę, a jego teoretyczna moc obliczeniowa to 1685,65 PFlops (1,69 EFlops).

Z kolei najszybszym superkomputerem europejskim został superkomputer LUMI zbudowany dzięki współpracy 10 państw europejskich, w tym Polski. Na najnowszej liście Top500 LUMI znalazł się na trzecim miejscu i to nawet pomimo tego, że partycja GPU nie została jeszcze w pełni zainstalowana. Obecna teoretyczna moc obliczeniowa superkomputera to 537 PFlops. Polscy naukowcy mogą uzyskać dostęp do supekomputera za pośrednictwem Infrastruktury PLGrid. Działania w tym zakresie są koordynowane przez ACK Cyfronet AGH (szczegółowe informacje na ten temat). 

Polskie superkomputery na liście TOP500

Oprócz Atheny, Aresa i Prometheusa, na liście TOP500 (czerwiec 2022) znalazły się również dwa inne superkomputery z Polski. Pełne zestawienie zajętych miejsc wraz z wartościami mocy obliczeniowej przedstawia się następująco:

  • 105 – Akademickie Centrum Komputerowe Cyfronet AGH, Athena (7709 TeraFlopsów),
  • 145 – Poznańskie Centrum Superkomputerowo Sieciowe, Altair (5880 TeraFlopsów),
  • 290 – Akademickie Centrum Komputerowe Cyfronet AGH, Ares (3510 TeraFlopsów),
  • 462 – Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej PG, Tryton Plus (2824 TeraFlopsów),
  • 476 - Akademickie Centrum Komputerowe Cyfronet AGH, Prometheus (2349 TFlops).

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat), a tu mogą być wykonane najczęściej w ciągu zaledwie kilku godzin, a dla wielkich zadań kilku dni. Użytkownicy Cyfronetu korzystają z profesjonalnego wsparcia – od szkoleń aż po indywidualne konsultacje z ekspertami. Informacje dotyczące zasobów Cyfronetu i podejmowanych działaniach są dostępne na stronie cyfronet.pl, natomiast spis usług w ramach Infrastruktury PLGrid znajduje się w Katalogu Aplikacji.

***

Najnowsza lista TOP500 została ogłoszona 30 maja 2022 r. podczas konferencji ISC High Performance w Hamburgu.

Pełna lista TOP500 (czerwiec 2022)

Inne artykuły z kategorii Studenci

Najnowsze artykuły