Od lat historiacentrum danychzużycie energii przebiegało po przewidywalnym łuku. Cyfryzacja oczywiście rosła, ale wzrost wydajności wynikający z lepszych serwerów, wirtualizacji i konsolidacji chmur sprawił, że całkowite zużycie energii elektrycznej pozostało zaskakująco stabilne. Globalne zapotrzebowanie na moc centrów danych oscylowało wokół 1 procent całkowitego zużycia energii elektrycznej – około 200 terawatogodzin rocznie – przez większą część dekady.

Ta era się kończy.

Konwergencja generatywnej sztucznej inteligencji, wydobywania kryptowalut, przetwarzania brzegowego i wykładniczego wzrostu liczby podłączonych urządzeń przełamała starą krzywą wydajności. Szacunki branżowe wskazują obecnie, że zapotrzebowanie na moc centrów danych rośnie w tempie niespotykanym od początku XXI wieku. W niektórych regionach – Irlandii, Północnej Wirginii, Singapurze – centra danych odpowiadają już za 15–25 procent całkowitego zużycia energii elektrycznej, co zmusza organy regulacyjne do nakładania moratoriów na nowe budownictwo.

W tym kontekście wybory dotyczące infrastruktury, które kiedyś wydawały się szczegółami technicznymi — architektura chłodzenia, topologia dystrybucji zasilania, planowanie gęstości szaf — stały się decyzjami zarządu. Koszt energii nie jest już elementem zamówienia. Jest to ograniczenie wzrostu.

Prosty wskaźnik, który zmienił wszystko

Efektywność zużycia energii (PUE) jest standardowym miernikiem wydajności w branży centrów danych od prawie dwóch dekad. Jest to prosty stosunek: całkowita moc obiektu podzielona przez moc sprzętu IT.

Wartość PUE wynosząca 2,0 oznacza, że ​​na każdy wat zasilający serwery i pamięć masową kolejny wat jest zużywany na chłodzenie, oświetlenie, straty związane z konwersją mocy i inne koszty ogólne. PUE wynoszący 1,2 oznacza, że ​​obciążenie zużywa tylko 0,2 wata na wat IT.

W branży powszechnie akceptowane są poziomy oparte na PUE:

Problem polega na tym, że wiele organizacji tak naprawdę nie zna swojego PUE. Szacują. Domyślają się. Albo mierzą tylko na głównym liczniku mediów i przejmują resztę.

Badanie branżowe przeprowadzone w 2023 r. wykazało, że prawie 40 procent operatorów centrów danych nigdy nie mierzyło PUE na poziomie szafy. Wśród tych, którzy to zrobili, rozpiętość między raportowanym a rzeczywistym PUE wyniosła średnio 0,3 punktu, co wystarczyło, aby przenieść obiekt ze złotego na srebrny, niezauważalnie.

Gdzie właściwie płynie moc

Zrozumienie, dlaczego PUE jest tak zróżnicowane, zaczyna się od sprawdzenia, gdzie moc opuszcza centrum danych.

W typowym obiekcie chłodzonym powietrzem o PUE około 1,8 rozkład wygląda mniej więcej tak:

• Sprzęt IT (serwery, pamięci masowe, sieci): 55-60 proc
• Chłodzenie (jednostki CRAC/CRAH, agregaty chłodnicze, pompy, chłodnice suche): 30-35 procent
• Dystrybucja mocy (UPS, transformatory, straty PDU): 5-8 proc
• Oświetlenie i inne obciążenia obiektu: 2-4 procent

Największą zmienną jest obciążenie chłodnicze. Obiekt w klimacie umiarkowanym wykorzystujący powietrze zewnętrzne do swobodnego chłodzenia może wydać na chłodzenie tylko 15 procent swojej mocy niezwiązanej z IT. Ten sam obiekt w klimacie tropikalnym z całorocznym chłodzeniem mechanicznym może wydać 40 proc.

Właśnie dlatego dostawcy kolokacji reklamują PUE na poziomie obiektu, ale dostarczają PUE na licznik klienta – różne liczby, różne implikacje. Za to wszystko płaci klient.

Przejście z infrastruktury tradycyjnej na infrastrukturę chmurową

Tradycyjne zarządzanie centrum danych zakładało stosunkowo statyczne środowisko. Półki zapełniały się miesiącami, a nawet latami. Chłodzenie można regulować powoli. Dystrybucja mocy była przewymiarowana od pierwszego dnia.

Era chmur zmieniła założenia. Stojaki teraz zapełniają dni. Obciążenia są automatycznie przenoszone między serwerami. Klastry AI o dużej gęstości mogą pobierać trzykrotnie więcej mocy niż sąsiednie szafy obliczeniowe ogólnego przeznaczenia.

Zmiany te wymusiły ponowne przemyślenie zarządzania infrastrukturą. Wyróżniają się trzy trendy.

Po pierwsze, gęstość rośnie nierównomiernie.Dziesięć lat temu standardowa szafa serwerowa pobierała 5–8 kilowatów. Obecnie stojaki ogólnego przeznaczenia pobierają 10–15 kilowatów. Szafy szkoleniowe o wysokiej wydajności i AI rutynowo przekraczają 30 kilowatów na szafę. Niektóre przekraczają 50 kilowatów.

Stwarza to wyzwania w zakresie zarządzania ciepłem, z którymi boryka się chłodzenie powietrzem. Przy mocy 20 kilowatów na szafę, chłodzenie powietrzem pozostaje skuteczne przy odpowiedniej izolacji. Przy 30 kilowatach staje się marginalny. Przy mocy 40 kW i większej chłodzenie cieczą zmienia się z opcjonalnego na konieczne.

Po drugie, planowanie wydajności stało się przewidywalne.Stara metoda — kupuj więcej mocy obliczeniowej niż potrzeba i pozostawiaj ją bezczynną — nie działa już na dużą skalę. Moc bezczynna wiąże się zarówno z kosztami kapitałowymi, jak i bieżącymi kosztami konserwacji.

Nowoczesne systemy zarządzania infrastrukturą wykorzystują dane historyczne i prognozy obciążenia, aby przewidzieć, kiedy skończy się zasilanie, chłodzenie lub miejsce w szafie. Najlepsze systemy mogą zalecić rekonfigurację istniejącej wydajności lub zamówienie nowego sprzętu na kilka dni lub tygodni, zanim ograniczenie stanie się krytyczne.

Po trzecie, wymagania dotyczące widoczności mają nppandał.Tradycyjne centrum danych może śledzić moc na poziomie PDU. Nowoczesny obiekt potrzebuje widoczności na poziomie szafy, czasami na poziomie serwera, a coraz częściej na poziomie obciążenia — wiedzy, która maszyna wirtualna lub kontener obsługuje jaki pobór mocy.

Warstwa DCIM: co właściwie robi

Infrastruktura centrum danychOprogramowanie do zarządzania (DCIM) istnieje od ponad dziesięciu lat, ale jego przyjęcie jest nierówne. Mniej niż połowa korporacyjnych centrów danych wdrożyła pełny system DCIM. Wiele z nich wykorzystało tylko ułamek jego możliwości.

Prawidłowo wdrożony system DCIM spełnia cztery funkcje:

Zarządzanie aktywami.Każdy serwer, przełącznik, PDU i jednostka chłodząca są śledzone w bazie danych zarządzania konfiguracją (CMDB). Lokalizacja, moc znamionowa, połączenia sieciowe, historia konserwacji — wszystko to. Brzmi to banalnie, ale wiele organizacji nadal śledzi zasoby w arkuszach kalkulacyjnych, których aktualizacje występują miesiącami.

Monitorowanie w czasie rzeczywistym.Pobór mocy na poziomie PDU lub szafy, temperatura i wilgotność w punktach zasilania i powrotu, stan systemu chłodzenia, stan baterii UPS. Alarmy są wyzwalane, gdy parametry odbiegają od wartości zadanych. Celem jest wykrycie problemów, zanim spowodują przestoje.

Planowanie wydajności.System wie, ile mocy i wydajności chłodniczej jest dostępne, ile jest wykorzystywane, a ile jest zarezerwowane na przyszłe wdrożenie. Może modelować wpływ dodania nowej szafy o dużej gęstości lub wycofania zestawu starszych serwerów.

Wyobrażanie sobie.Cyfrowy bliźniak centrum danych — szafa po szafie, płytka po płytce — pokazuje aktualne warunki i umożliwia operatorom symulowanie zmian. Dodanie 10 kilowatów obciążenia do wiersza trzeciego i kolumny czwartej: czy przekracza to wydajność chłodzenia? System odpowiada, zanim ktokolwiek przeniesie sprzęt.

Matematyka wydajności, która faktycznie działa

Zmniejszenie zużycia energii w centrum danych nie jest tajemnicą. Metody są dobrze znane. Wyzwaniem jest dyscyplina wdrożeniowa.

Podnieś temperaturę powietrza nawiewanego.W większości centrów danych jest zimno – na powrocie urządzenia chłodzącego temperatura wynosi od 18 do 20 stopni Celsjusza – ponieważ operatorzy zawsze tak robili. Wytyczne ASHRAE zalecają obecnie temperaturę od 24 do 27 stopni. Wzrost o każdy stopień powoduje zmniejszenie energii chłodzenia o około 4 procent. Praca w temperaturze 26 stopni zamiast 20 stopni pozwala zaoszczędzić 20–25 procent mocy chłodzenia.

Wyeliminuj mieszanie się gorącego i zimnego powietrza.Zabezpieczenie gorących i zimnych korytarzy lub pionowe kanały wylotowe wymuszają kierowanie powietrza chłodzącego tam, gdzie jest ono potrzebne, zamiast przechodzić przez krótki czas przez przód szaf. Samo uszczelnienie zwykle zmniejsza energię chłodzenia o 15–25 procent.

Używaj napędów o zmiennej prędkości.Wentylatory i pompy o stałej prędkości marnują energię przy częściowym obciążeniu. Napędy o zmiennej prędkości dopasowują przepływ powietrza i wody do rzeczywistego zapotrzebowania. Okresy zwrotu inwestycji w modernizację wynoszą zazwyczaj 1–3 lata.

Zoptymalizuj działanie UPS.Większość systemów UPS pracuje w sposób ciągły w trybie podwójnej konwersji – przekształcając prąd przemienny na prąd stały i z powrotem na prąd przemienny, nawet gdy zasilanie sieciowe jest czyste. Nowoczesne systemy UPS mogą przełączyć się w tryb ekonomiczny, gdy pozwala na to jakość zasilania, osiągając sprawność na poziomie 99% zamiast 94-96%. Kompromisem jest krótki czas przejścia na akumulator w przypadku awarii zasilania sieciowego. W przypadku obciążeń IT z zasilaczami przeznaczonymi do takich transferów ryzyko jest minimalne.

Zastosuj dystrybucję wyższego napięcia.Dystrybucja mocy przy napięciu 415 V zamiast 208 V zmniejsza straty dystrybucyjne o około 25 procent. Wymaga to kompatybilnych PDU i zasilaczy serwerowych, ale obsługuje to wiele nowoczesnych urządzeń.

Jak wygląda wydajność w świecie rzeczywistym

Firma Shangyu CPSY, przedsiębiorstwo high-tech skupiające się na infrastrukturze centrów danych, odnotowuje wskaźnik PUE na poziomie 1,3 dla swoich modułowych rozwiązań dla centrów danych. To plasuje firmę na poziomie złotym, zmierzającym w stronę platynowej.

Deklarowane 25-procentowe oszczędności energii w porównaniu z konwencjonalnymi konstrukcjami wynikają z wielu czynników. Modułowe systemy UPS o sprawności 97,4% na poziomie systemu zmniejszają straty dystrybucyjne, które w przeciwnym razie wynosiłyby 15-20%. Klimatyzatory precyzyjne ze sprężarkami o zmiennej prędkości i wentylatorami EC dostosowują moc chłodzenia do rzeczywistego obciążenia cieplnego, zamiast pracować ze stałą wydajnością. Natomiast układ fizyczny — wydzielenie gorących korytarzy, optymalne rozmieszczenie szaf, podniesiona podłoga z perforowanymi płytkami o odpowiednich rozmiarach — uwzględnia zarządzanie przepływem powietrza, które negatywnie wpływa na wiele wydajnych obiektów.

Portfolio certyfikacji firmy obejmuje ISO 9001 (zarządzanie jakością) i ISO 27001 (zarządzanie bezpieczeństwem informacji). Wdrożenia u klientów obejmują współpracę z Huawei, ZTE i Inspur oraz instalacje eksportowe w Stanach Zjednoczonych, Wielkiej Brytanii, Niemczech, Francji i Australii.

Gdzie pojawia się chłodzenie cieczą

Przez lata chłodzenie cieczą było technologią niszową dla centrów superkomputerowych. To się szybko zmienia.

Klastry szkoleniowe AI wykorzystujące procesory graficzne NVIDIA H100 lub nadchodzące procesory graficzne B200 generują 30–50 kilowatów na szafę w konfiguracjach chłodzonych wyłącznie powietrzem. Przy takich gęstościach chłodzenie powietrzem wymaga dużego natężenia przepływu powietrza — głośnych wentylatorów, głębokich szaf i wciąż marginalnej kontroli termicznej.

Chłodzenie cieczą bezpośrednio na chipie usuwa 60–80 procent ciepła u źródła. Chipsy działają chłodniej. Wentylatory działają wolniej. Klimatyzator pokojowy przetwarza jedynie ciepło pozostałe z zasilaczy, pamięci i innych podzespołów.

Wzrost wydajności jest znaczny. Obiekty wyposażone w bezpośrednie chłodzenie chipów zgłaszają wartości PUE od 1,1 do 1,2. Kompromisami są wyższe koszty inwestycyjne, bardziej złożone zarządzanie wyciekami i potrzeba uzdatniania wody na poziomie obiektu.

Pełne chłodzenie zanurzeniowe — zanurzanie całych serwerów w płynie dielektrycznym — obniża PUE poniżej 1,1, ale pozostaje wyspecjalizowane. Większość komercyjnych centrów danych najpierw zastosuje chłodzenie bezpośrednio na chipie, a później zanurzenie w określonych strefach o dużej gęstości.

Platforma centrum danych SHANGYU obejmuje rozwiązania dla architektur chłodzenia powietrzem i cieczą, uwzględniając fakt, że przyszłe wdrożenia o dużej gęstości będą wymagały zarządzania ciepłem w oparciu o płyny, niezależnie od projektu obiektu.

Luka w zarządzaniu: od reaktywnego do predykcyjnego

Większość zespołów operacyjnych centrum danych nadal pracuje reaktywnie. Rozlega się alarm. Ktoś bada. Zastosowano poprawkę. Cykl się powtarza.

Przejście na zarządzanie predykcyjne wymaga trzech umiejętności, których brakuje wielu organizacjom.

Pełne dane konfiguracyjne.Wiedza o tym, co znajduje się w centrum danych — każdy serwer, każdy przełącznik, każda jednostka PDU, każda jednostka chłodząca — to podstawa. Bez dokładnych danych CMDB planowanie wydajności opiera się na domysłach.

Telemetria granulowana.Pomiar mocy na poziomie szafy jest minimalny. Lepszy jest pomiar mocy na serwerze. Przypisanie mocy na poziomie obciążenia jest najlepsze, ale najtrudniejsze do osiągnięcia.

Analityka odróżniająca sygnał od szumu.Skok temperatury w jednym stojaku może oznaczać awarię wentylatora. Skok temperatury w połowie centrum danych może oznaczać awarię agregatu chłodniczego. System musi różnicować i odpowiednio rekomendować reakcje.

Platforma DCIM firmy SHANGYU zapewnia obsługę urządzeń SNMP i Modbus, interfejsy aplikacji internetowych i Windows oraz integrację z kamerami sieciowymi w celu obrazowania wyzwalanego zdarzeniami. Wyznaczone cele są proste: ograniczenie kosztownych przestojów, obniżenie codziennych kosztów operacyjnych poprzez pełną kontrolę środowiskową oraz poprawa widoczności i identyfikowalności zarządzania.

Dlaczego to ma znaczenie wykraczające poza podłogę centrum danych

Zużycie energii w centrach danych stanowi około 1 procent światowego zapotrzebowania na energię elektryczną. Liczba ta wydaje się niewielka, dopóki nie zostanie umieszczona w kontekście. Odpowiada to w przybliżeniu całkowitemu zużyciu energii elektrycznej w Wielkiej Brytanii.

Co ważniejsze, tempo wzrostu przyspiesza. Prognozy branżowe wskazują, że zapotrzebowanie na moc centrów danych będzie rosło o 10–15 procent rocznie do 2030 r., napędzane sztuczną inteligencją, przyjęciem chmury i ciągłym rozwojem podłączonych urządzeń. Przy takim tempie do końca dekady centra danych zużywałyby 3–4 procent światowej energii elektrycznej.

Wzrost wydajności, który utrzymywał zużycie energii na stałym poziomie przez poprzednią dekadę, wynikał z wirtualizacji serwerów (zmniejszenie liczby serwerów fizycznych), zwiększonej wydajności dysków (przejście z dysków obrotowych na dyski SSD) i szerokiego zastosowania bezpłatnego chłodzenia (wykorzystywanie powietrza zewnętrznego zamiast chłodzenia mechanicznego). Te nisko wiszące owoce zostały w dużej mierze zebrane.

Następna fala wydajności będzie wynikać z chłodzenia cieczą, dystrybucji wyższego napięcia, sterowania chłodzeniem zoptymalizowanego pod kątem sztucznej inteligencji i – co być może najważniejsze – lepszego dostosowania wydajności infrastruktury do rzeczywistego obciążenia IT. Ten ostatni element wymaga widoczności w czasie rzeczywistym i analiz predykcyjnych, jakie zapewniają systemy DCIM, ale niewiele obiektów w pełni wykorzystuje.

Kilka pytań, które warto zadać na temat własnej infrastruktury

Czy znasz swoje rzeczywiste PUE, a nie liczbę z arkusza specyfikacji?Jeśli nie mierzyłeś na wyjściu UPS i na wejściu sprzętu IT, to nie wiesz. Różnica polega na rzeczywistych kosztach ogólnych.

Czy Twoje systemy chłodzenia walczą ze sobą?W wielu centrach danych jednostki CRAC są ustawione na nakładające się pasma temperatury i wilgotności. Jedna jednostka osusza, a druga nawilża. Jeden chłodzi, drugi podgrzewa. To nie jest niezwykłe. Nie jest też wydajny.

Jaki jest pobór mocy Waszych serwerów w stanie bezczynności?Dane branżowe pokazują, że typowe serwery dla przedsiębiorstw pobierają 30–40 procent swojej mocy szczytowej, gdy nic nie robią. Wyłączanie lub uśpienie nieużywanych serwerów to dostępny środek zapewniający najwyższy zwrot z inwestycji. Jest również najczęściej pomijany.

Czy mógłbyś podnieść temperaturę powietrza nawiewanego o dwa stopnie bez naruszania specyfikacji sprzętu?Prawdopodobnie tak. Większość urządzeń jest przystosowana do temperatur wlotowych wynoszących 25–27 stopni. Większość centrów danych pracuje w temperaturze 20–22 stopni. Ta sześciostopniowa różnica oznacza lata niepotrzebnej energii chłodzącej.

Kiedy ostatni raz sprawdzałeś wydajność swojego UPS?Wydajność z tabliczki znamionowej jest mierzona przy pełnym obciążeniu i doskonałym współczynniku mocy. Rzeczywista wydajność przy częściowym obciążeniu przy rzeczywistym współczynniku mocy może być o 5–10 punktów niższa.