Як охолоджують сервери для ШІ і чому вони не перегрівають планету

Щоразу, коли ви даєте черговий запит у ChatGPT десь у дата-центрі прокидається потужний сервер, обробляє запит, генерує відповідь і знову засинає. Проте головне тут, що увесь цей процес створює величезне тепловиділення. Сервери у сучасних дата-центрах споживають десятки кіловат електроенергії та виробляють велику кількість тепла. Але головна цікавинка не в тому, скільки електрики витрачає один ваш запит, а в тому, як індустрія навчилася перетворювати це тепло з проблеми на її вирішення, а потім навіть на ресурс. І саме про це ми й поговоримо в матеріалі нижче.

Читайте также: Шахраї випускають підробні пластикові відеокарти NVIDIA RTX

Тепло як головний ворог обчислень

Напевно, технічно підкована частина наших читачів й без мене знає, що будь-який процесор хай то CPU чи GPU, є, по суті, нагрівальним елементом. І чим більше його потужність, то тим більше його температура. Традиційно з цим боролися за допомогою вентиляторів і систем охолодження, що й досі часто використовується в домашніх ПК. Це просте рішення насправді дуже неефективне для великих масштабів. Ті ж кондиціонери споживають іноді стільки ж енергії, скільки й самі сервери, а у деяких дата-центрах на охолодження йде до 40% від загального споживання електрики, а це колосальна цифра.

Для невеликого серверного кабінету якоїсь компанії це просто додаткова стаття витрат. Проте коли йдеться про суперкомп’ютери для наукових досліджень чи дата-центри, де може бути надпотужне обладнання, повітряне охолодження не допомагає взагалі. Фізично неможливо прокачати достатньо повітря через таку густину обладнання, щоб підтримувати нормальну робочу температуру.

Для подібних випадків існують різноманітні системи рідинного охолодження, а як фанат ноутбуків Lenovo Thinkpad та бренду загалом, я буду розповідати далі та пояснювати на прикладі системи Lenovo Neptune. Проте зазначу, що у світі є й багато інших не менш ефективних рішень.

Пряме водяне охолодження

У того ж Lenovo Neptune процес охолодження відбувається в три підходи: пряме охолодження вузлів гарячою водою, теплообмінник на задній панелі стійки та гібридні рішення, які об’єднують воду і повітря залежно від конкретного завдання.

Проте ключовим елементом тут є все ж пряме водяне охолодження, в якому трубки з мідного сплаву підводяться безпосередньо до процесорів, GPU, модулів пам’яті, мережевих карт і регуляторів напруги. Вода приймає тепло від компонентів, нагрівається і повертається у контур охолодження. Тобто тут взагалі немає вентиляторів, а з ними й гучної турбулентності повітря.

Заявлено, що рішення на базі оцього Lenovo Neptune дозволяють відводити рідиною до 98% всього тепла, що виробляється сервером. І це крутий показник, якого не може досягти жодна повітряна система навіть теоретично. Кажуть, що флагманська модель ThinkSystem N1380 Neptune шостого покоління, представлена ще у 2024 році, дає вже 100% відведення тепла рідиною, включно з блоками живлення. Тобто сервери на його основі можуть стояти у стійках потужністю понад 100 кіловатів без жодного спеціалізованого кондиціонера в залі.

Хто вже використовує ці системи?

Подивімося на реальні наукові установи, що вже використовують ці та подібні системи. Наприклад, є такий Берлінський інститут Цузе (Zuse Institute Berlin, ZIB), що є одним із найвизначніших дослідницьких центрів Німеччини. Їх велика система складається зі 168 серверів Lenovo ThinkSystem з процесорами AMD EPYC та того самого охолодження Neptune DWC. Усе разом це дає продуктивність у 9 петафлопс (PFLOPS). В цьому місці поглинання тепла водою складає 98%.

Ще одним прикладом є Потсдамський інститут кліматичних досліджень (Potsdam Institute for Climate Impact Research, PIK), який вивчає вплив кліматичних змін на природні та соціальні системи. Тут встановлено понад 250 серверів Lenovo ThinkSystem з AMD EPYC з водяним охолодженням Neptune. Порівняно з попереднім прикладом з Німеччини тут дослідники отримали десятикратне (!) збільшення продуктивності та п’ятикратне збільшення обчислювальних потужностей. Цікаво, що тепло, яке раніше просто викидалось у повітря, тепер стало частиною системи опалення будівлі інституту. Але про це ми ще поговоримо нижче.

Національна лабораторія високопродуктивних обчислень в Чилі (NLHPC) працює з дослідниками у сфері кліматичного моделювання, астрофізики та геноміки. В цих хлопців є сервери Lenovo ThinkSystem з процесорами AMD EPYC і відеокартами AMD Instinct, обладнані системою Neptune Liquid Cooling. 6912 ядер процесорів і прискорювачі AMD Instinct дозволяють виконувати більше операцій з плаваючою точкою за секунду при тій самій витраті енергії.

В Італії, у Європейському інституті онкології та Кардіологічному центрі Монціно, наявна система продуктивністю 475 терафлопс на серверах Lenovo ThinkSystem SR645 V3 і SR685a V3 прискорює вивчення механізмів розвитку раку та серцевих захворювань, інтегруючись із клінічними базами даних. Уся ця машинерія обробляє купи масивних наборів медичної інформації, а потім вчені та лікарі можуть робити певні висновки щодо хвороб.

Щоб вам було трохи цікавіше, скажу, що рідинне охолодження Neptune не обмежується виключно академічними суперкомп’ютерами. Показовим прикладом є “Формула 1”. Ця серія транслює свої перегони для понад 820 мільйонів глядачів у всьому світі. Всі ці трансляції, аналітика, системи штучного інтелекту для роботи з даними під час гонок потребують серйозних обчислювальних потужностей, які зібрані в спеціальному технологічному центрі “Формули 1”.

Читайте также: Valve випустила повноцінну SteamOS 3.8 з підтримкою Steam Machine

Після встановлення Neptune Liquid Cooling на серверах Lenovo ThinkSystem SD665-N V3 вони отримали можливість запускати вимогливіші навантаження ШІ та обробляти дані прямо у своєму дата-центрі без суттєвого зростання енергетичного сліду. Рідинне охолодження просто інтегрували в наявний зал із повітряним охолодженням без потреби у перебудові всієї системи.

Сучасна наука не працює без потужного охолодження

Але навіщо вченим таке надпотужне залізо, що вимагає настільки складних систем охолодження? Ці купи серверів з охолодженням коштують багато, але чи є в цьому сенс? Вчені кажуть, що так, адже сучасні вчені часто використовують наукову симуляцію і саме для цього й потрібні такі потужності.

Наприклад, моделювання клімату потребує прорахунку взаємодії атмосфери, океанів, льодових шапок і людської діяльності у величезних масштабах. Одна така симуляція може займати тижні на звичайному кластері. А дослідники різних онкологій будують свої моделі для розробки нових ліків. Також в цьому випадку ШІ вже допомагає їм відбирати молекули-кандидати в рази швидше, ніж вони робили це раніше. Ну й фізики вже давно моделюють різні взаємодії на атомному рівні, астрофізики прораховують еволюцію галактик і так далі, так далі, так далі.

Одна з найцікавіших особливостей технології Neptune є можливість повторного використання тепла. Традиційний дата-центр з повітряним охолодженням виробляє тепло, яке кондиціонери просто викидають назовні. Але все це втрачена енергія.

Системи Neptune спроєктовані так, щоб водяний контур міг функціонувати при температурі теплоносія на вході до 45 за Цельсієм. Це означає, що підігріта вода, яка вийшла з серверів, має достатньо теплової енергії, щоб використовуватися для обігріву будівель або в інших системах охолодження. Тому ця система фактично обігріває офіси теплом від свого суперкомп’ютера, і це реально вже діє.

Що означають ці цифри для нас

Повернемось до запиту в ChatGPT. Отже, ваш промпт чи будь-який запит обробляється на надпотужних серверах, але ця система має мільйони запитів на день. Тому усе це складається в серйозне енергоспоживання, і мені, напевно, не треба пояснювати, що різниця між ефективним і неефективним дата-центром на такому масштабі дуже відчутна.

Тепер давайте порахуймо. Якщо дата-центр з традиційним охолодженням витрачає умовно 40% електроенергії на кондиціонування, а система Neptune, чи будь-яка інша подібна система, скорочує витрати на охолодження до мінімуму коштом 98-100% рідинного тепловідведення, то при однаковому навантаженні другий варіант споживає значно менше електрики від мережі. Виходить, що зниження витрат на 40% у масштабах такого велетенського дата-центру означає мегавати заощадженої енергії кожного року.

Проте важливіше те, що таке рідинне охолодження дозволяє встановлювати цим же дата-центрам набагато потужніше обладнання на тій самій площі. Мені здається це і є суттю сучасного ефективного хмарного та HPC-обчислення.

Інновації, які ми не бачимо

Технології рідинного охолодження, зокрема Neptune цікаві ще й тим, що вони залишаються здебільшого невидимою для кінцевого користувача. Ніхто з нас не бачить мідних трубок всередині серверів, ніхто не замислюється, чому моделювання клімату стало швидшим або чому онкологи отримали більше потужності для пошуку нових ліків. Але це і є ознака зрілої інженерної технології, коли вона розв’язує проблему настільки елегантно, що вона не перестає існувати, але тепер вирішується, а все це робиться непомітно.

Саме тому ваш умовний запит у ChatGPT справді не спалює планету. І все це значною мірою можливе завдяки інженерам, які розробляють подібні технології та сервери.

Читайте также: Google Home Speaker за $99 пропонує 360-градусний звук і душевні розмови з Gemini