NVIDIA H200 è una potenza di calcolo che guida la rivoluzione dell'intelligenza artificiale con una larghezza di banda di memoria e una velocità di elaborazione senza pari. Tuttavia, queste prestazioni hanno un costo termico elevato. Con un Thermal Design Power (TDP) superiore a 700 W per GPU e densità di potenza del rack che spingono oltre 50 kW, il raffreddamento ad aria tradizionale non è più solo inefficiente, ma rappresenta anche un collo di bottiglia critico per le prestazioni. Per sfruttare appieno il potenziale di questi cluster ad alta densità, i data center devono adottare un paradigma di gestione termica più efficace.
Raffreddamento ad olio ad immersione prevede l'immersione dell'intera infrastruttura del server H200 in un fluido dielettrico termicamente conduttivo. Questo metodo elimina la resistenza termica dell'aria, consentendo valutazioni di Power Usage Effectiveness (PUE) basse fino a 1.03, aumentando la densità dei rack di fino a 100%e garantendo velocità di clock di picco costanti senza il rischio di limitazione termica.
Questa guida fornisce un'analisi ingegneristica completa dell'implementazione del raffreddamento a immersione per i cluster HGX H200. Esamineremo la termodinamica dell'olio monofase, selezioneremo i fluidi dielettrici ottimali, definiremo l'architettura di sistema necessaria e risolveremo le sfide di compatibilità dei materiali per costruire un data center AI ad alta densità e a prova di futuro.
Perché il raffreddamento ad aria è obsoleto per i cluster NVIDIA H200?
Il passaggio a NVIDIA H200 segna la fine definitiva dell'era del raffreddamento ad aria per l'elaborazione ad alte prestazioni. Il limite termico del raffreddamento ad aria forzata tradizionale è generalmente considerato intorno a 30-40 kW per rackTuttavia, i cluster H200 ad alta densità possono facilmente superare 100 kW per rack, creando un carico termico che l'aria non è fisicamente in grado di rimuovere senza incorrere in rumore eccessivo, vibrazioni e costi energetici insostenibili. Il tentativo di raffreddare ad aria questi sistemi si traduce in un immediato throttling termico e in una drastica riduzione dell'efficienza computazionale.
La termodinamica del guasto: specifiche H200
Per capire perché l'aria fallisce, dobbiamo analizzare i dati termici grezzi dell'hardware. L'NVIDIA H200 non è solo un chip; è una sfida termica che sfida i limiti della fisica:
- TDP estremo: Una singola GPU H200 (SXM5) ha un Thermal Design Power (TDP) di 700W, con carichi transitori di picco che spesso superano questo valore. Una scheda madre HGX da 8 GPU genera da sola 5.6kW di calore in uno chassis 4U o 6U.
- Temperature di giunzione elevate: Per mantenere i picchi di clock di boost, la temperatura di giunzione della GPU (Tj) deve essere mantenuta ben al di sotto del suo limite massimo (in genere ~90°C a 95°C). Il raffreddamento ad aria fa fatica a mantenere questo delta T con flussi di calore così elevati.
- Esplosione della densità del rack: Un rack standard popolato con server H200 può raggiungere densità di potenza di Da 50 kW a 100 kWPer raffreddarlo, l'aria richiede un'enorme portata volumetrica (CFM), il che rende impossibili i requisiti di velocità.
Le conseguenze dell'attaccamento all'aria
Continuare a utilizzare il raffreddamento ad aria per le distribuzioni H200 comporta gravi sanzioni operative:
- Perdita di potenza parassitaria: Per raffreddare un rack da 100 kW con aria, le ventole del server devono funzionare al massimo numero di giri (oltre 10,000). Questo carico parassita può consumare 15% a% 25 della potenza totale del data center, aumentando significativamente il PUE (Power Usage Effectiveness).
- Vibrazione acustica: I ventilatori ad alta velocità generano livelli di rumore superiori a 100 dBAQuesta energia acustica provoca microvibrazioni che possono compromettere le prestazioni dell'unità disco rigido (HDD) e allentare i connettori nel tempo.
- Limitazione termica: L'aria crea "punti caldi" a causa della distribuzione non uniforme del flusso. Quando una GPU raggiunge il suo limite termico, riduce automaticamente la velocità, il che significa che si paga per prestazioni H200 ma si ottengono velocità H100 (o inferiori).
| Specificazione | Requisito NVIDIA H200 (SXM5) | Limite di raffreddamento ad aria | Risultato |
|---|---|---|---|
| TDP per GPU | 700 Watts | ~350-400 Watt (in modo efficiente) | Strozzatura termica |
| Densità di potenza del rack | > 50 kW – 100 kW | ~30 kW – 40 kW | Richiede una distribuzione a bassa densità (spazio sprecato) |
| Delta T (da truciolo a refrigerante) | Richiede bassa resistenza termica | Alta resistenza (l'aria è un isolante) | Temperature di giunzione elevate |
| Consumo energetico della ventola | N/D (senza ventola in olio) | 20% del carico IT | PUE elevato (>1.5) |
Cos'è il raffreddamento a immersione? Monofase vs. bifase
Il raffreddamento a immersione è suddiviso in due tecnologie distinte: Monofase e Bifase. in Immersione monofase, i server sono immersi in un fluido dielettrico (tipicamente un olio idrocarburico) che rimane allo stato liquido, rimuovendo il calore tramite convezione pompata attiva. In Immersione bifase, un fluido ingegnerizzato specializzato bolle direttamente sulla superficie del componente, utilizzando il calore latente di vaporizzazione per rimuovere il calore prima di condensarsi nuovamente in un liquido. Mentre il bifase offre velocità di trasferimento del calore teoriche più elevate, l'olio monofase è ampiamente considerato la scelta migliore per la stabilità operativa a lungo termine e il costo totale di proprietà (TCO).
Raffreddamento a immersione monofase (lo standard del settore)
I sistemi monofase utilizzano un fluido dielettrico con un punto di ebollizione elevato (tipicamente > 150 ° C) in modo che non cambi mai stato durante il funzionamento. Il fluido assorbe il calore dalle GPU H200 e viene fatto circolare da una pompa verso un'unità di distribuzione del refrigerante (CDU) per smaltire il calore.
- Meccanismo: Si basa su convezione forzataLe pompe fanno circolare l'olio attraverso il serbatoio e il telaio del server.
- Efficienza del trasferimento di calore: Il coefficiente di trasferimento di calore tipico (h) varia da da 1,200 a 1,500 W/m²KSebbene inferiore all'ebollizione, questo valore è sufficiente per raffreddare la GPU H200 da 700 W con una portata modesta.
- Costo del fluido: Utilizza fluidi a base di idrocarburi (oli minerali o PAO sintetici), che sono convenienti (circa. $ 5 – $ 15 al litro).
- Manutenzione: I design a bagno aperto consentono un facile accesso. Il fluido non evapora rapidamente, semplificando le procedure di manutenzione come la sostituzione di un modulo DIMM o di una GPU ("immersione e pulizia").
Raffreddamento a immersione bifase (la nicchia ad alte prestazioni)
I sistemi bifase utilizzano fluidi a base di fluorocarburi progettati per bollire a basse temperature (ad esempio, 50 ° C). Il processo di ebollizione crea bolle di vapore sulla superficie del chip, che salgono verso una serpentina di condensazione nella parte superiore del serbatoio sigillato.
- Meccanismo: Si basa su ebollizione nucleata e cambiamento di fase (calore latente di vaporizzazione).
- Efficienza del trasferimento di calore: Estremamente elevato, con coefficienti superiori a 10,000 W/m²KIn questo modo si ottengono le temperature di giunzione più basse possibili.
- Costo del fluido: Fluidi ingegnerizzati estremamente costosi (ad esempio, Novec), che spesso costano $ 150 – $ 300+ al litro.
- Rischi ambientali: Molti fluidi bifase sono classificati come PFAS (“sostanze chimiche per sempre”), che rischia di essere soggetto a imminenti divieti normativi nell'UE e negli USA.
- Rischio operativo: Il serbatoio deve essere sigillato ermeticamente. Anche una microperdita può causare la rapida perdita di migliaia di dollari di fluido a causa della fuoriuscita di vapore.
Approfondimenti ingegneristici: Per la maggior parte delle distribuzioni su larga scala, Walmate Thermal consiglia Olio monofaseSebbene il sistema bifase offra parametri termici leggermente migliori, il costo astronomico del fluido, l'elevata complessità di manutenzione (sigillatura ermetica) e l'incertezza normativa relativa ai PFAS lo rendono un investimento rischioso per un ciclo di vita di 10 anni di un data center. I sistemi monofase sono robusti, sostenibili e forniscono una capacità di raffreddamento più che sufficiente (fino a 200 kW+ per serbatoio) per i cluster H200 attuali e futuri.
| Caratteristica | Monofase (olio) | Bifase (fluido ingegnerizzato) |
|---|---|---|
| Coefficiente di trasferimento del calore | ~1,200 – 1,500 W/m²K | > 10,000 W/m²K |
| Costo del fluido (approssimativo) | Basso ($ 5 – $ 15 / L) | Molto alto ($ 150 – $ 300+ / L) |
| Complessità di manutenzione | Basso (accesso libero) | Alto (richiede un contenitore sigillato) |
| Rischio di perdita di liquidi | Trascurabile (non volatile) | Elevata (rapida evaporazione in caso di rottura del sigillo) |
| Potenziale PUE | 1.03 - 1.05 | 1.02 - 1.03 |
| Stato normativo | Opzioni sicure e biodegradabili | Rischio di divieti sui PFAS |
Selezione del fluido dielettrico corretto (l'"olio")
Il fluido dielettrico è la linfa vitale di un sistema a immersione. Funge sia da refrigerante che da isolante elettrico. Per i cluster H200O ad alta densità, il fluido deve soddisfare requisiti rigorosi: rigidità dielettrica superiore a 40 kV per prevenire cortocircuiti, elevata conduttività termica per trasportare il carico termico di 700 W per GPU e rigoroso compatibilità materialeMentre gli oli minerali raffinati sono comuni, i moderni data center si stanno spostando verso oli sintetici PAO (polialfaolefine) per la loro superiore stabilità all'ossidazione e viscosità costante su un 10+ anno durata.
Proprietà chiave: la fisica del fluido
La scelta di un fluido non è solo una questione di prezzo, ma anche di dinamica dei fluidi e specifiche di sicurezza:
- Viscosità (cSt): Questo determina quanto duramente la pompa deve lavorare. Più bassa è la viscosità, meglio è per il trasferimento di calore. I fluidi ideali hanno una viscosità cinematica di < 10 cSt a 40°CI fluidi ad alta viscosità creano strati limite stagnanti sul die della GPU, aumentando le temperature di giunzione.
- Punto di infiammabilità e sicurezza antincendio: Il fluido non deve essere infiammabile in normali condizioni operative. Un punto di infiammabilità > 150°C è il margine di sicurezza standard, ben al di sopra della temperatura operativa del server di ~50-60°C.
- Punto di scorrimento: Fondamentale per gli avviamenti a freddo. Il fluido deve rimanere liquido a basse temperature, idealmente <-40 ° C, per garantire che le pompe possano far circolare il fluido immediatamente dopo un'interruzione di corrente in un impianto durante l'inverno.
Il rischio nascosto: la compatibilità dei materiali
Il guasto più comune nei primi impieghi in immersione non era termico, ma chimico. Gli oli idrocarburici possono agire come solventi.
- Indurimento del cavo: Gli oli possono rilasciare plastificanti dall'isolamento standard dei cavi in PVC, rendendoli fragili e soggetti a crepe. Sono obbligatori cavi adatti all'immersione (ad esempio in Teflon/PTFE).
- TIM Washout: Le paste termiche standard possono dissolversi o "pomparsi" nell'olio, contaminando il fluido e compromettendo il contatto termico del die della GPU. Sono necessari fogli di indio o paste termiche TIM specifiche per immersione.
| Proprietà | PAO sintetico | Olio minerale raffinato | Olio per trasformatori standard | Obiettivo ideale per H200 |
|---|---|---|---|---|
| Rigidità dielettrica | > 50 kV | > 40 kV | > 30 kV | > 45 kV |
| Viscosità a 40°C | 6 – 8 cSt | 10 – 15 cSt | > 20 cSt (troppo spesso) | < 10 cSt |
| Punto d'infiammabilità | > 160°C | > 140°C | ~135°C | > 150°C |
| Costo relativo | $$ | $ | $ | Equilibrio prestazioni/costo |
Architettura del sistema: serbatoi, unità di controllo centralizzato e collettori
Implementare il raffreddamento a immersione non è semplice come riempire una vasca d'olio. Richiede una sofisticata architettura idraulica a circuito chiuso, progettata per spostare enormi quantità di energia termica con precisione. Un ecosistema a immersione completo per cluster NVIDIA H200 è costituito da tre sottosistemi mission-critical: Serbatoio ad immersione (la nave primaria), il Unità di distribuzione del refrigerante (CDU) (il motore di gestione termica) e il Sistema di rifiuto del calore (raffreddatori a secco o chiller). Ogni componente deve essere progettato per gestire le specifiche dinamiche di flusso e i requisiti di compatibilità dei materiali dei fluidi dielettrici.
Un sistema di raffreddamento a immersione completo per i cluster NVIDIA H200 si basa su tre sottosistemi integrati che lavorano in armonia. In primo luogo, il Serbatoio ad immersione ospita l'hardware del server, fungendo da principale contenitore di cattura del calore. In secondo luogo, il Unità di distribuzione del refrigerante (CDU) funge da cuore del sistema, gestendo il flusso del fluido, la filtrazione e la regolazione della temperatura tramite uno scambiatore di calore liquido-liquido. Infine, un sistema esterno Raffreddatore a secco o refrigeratore respinge il calore catturato nell'atmosfera, completando il ciclo termico.
La vasca di immersione: più di un semplice contenitore
Il serbatoio è l'interfaccia tra l'hardware IT e il fluido. Per i rack H200 ad alta densità, la progettazione del serbatoio deve risolvere diverse sfide meccaniche:
- Costruzione materiale: I serbatoi sono in genere realizzati in Acciaio inossidabile (304 o 316) per garantire l'interazione zero con il fluido dielettrico e per fornire rigidità strutturale per il carico di fluido pesante (spesso > 1,000 kg di petrolio per serbatoio).
- Gestione e assorbimento dei cavi: L'olio può risalire lungo i cavi per capillarità ("assorbimento"). I serbatoi devono essere dotati di canaline portacavi e guarnizioni specifiche per impedire che l'olio goccioli sul pavimento o raggiunga zone non immerse.
- Erogazione di potenza della sbarra: Fornire 100kW di potenza a un serbatoio richiede barre collettrici rigide anziché cavi standard. Queste barre collettrici devono essere compatibili con il fluido dielettrico e progettate per ridurre al minimo la caduta di tensione.
La CDU: il cuore del sistema
L'unità di distribuzione del refrigerante (CDU) crea il circuito secondario, isolando il costoso fluido dielettrico nel serbatoio dal circuito dell'acqua dell'impianto. È responsabile del controllo della portata, della filtrazione e della stabilità della temperatura.
- Scambiatori di calore: Questo è il componente principale. Alta efficienza Scambiatori di calore a piastre brasate (BPHE) Vengono utilizzate per trasferire il calore dall'olio all'acqua dell'impianto. Walmate Thermal è specializzata nella produzione di questi componenti critici, ottimizzando la geometria delle piastre per gestire la maggiore viscosità dell'olio rispetto all'acqua.
- Strategia di ridondanza: L'affidabilità non è negoziabile. Le CDU per i cluster H200 in genere impiegano un Configurazione della pompa N+1Se una pompa si guasta, il backup subentra immediatamente per evitare la fuga termica, che può verificarsi in <30 secondi a queste densità di potenza.
- Filtrazione: La CDU deve filtrare continuamente l'olio per rimuovere le particelle (detriti, flusso di saldatura) che potrebbero creare ponti tra i contatti. Un grado di filtrazione di < 10 micron è uno standard per proteggere i componenti sensibili della GPU.
Collettori e distribuzione del flusso
Il semplice pompaggio dell'olio nel serbatoio non è sufficiente. Il flusso deve essere indirizzato con precisione verso i componenti caldi. Questo risultato si ottiene tramite collettori progettati su misura.
- Requisiti di velocità del flusso: Per raffreddare efficacemente una GPU da 700 W con olio monofase, è necessaria una portata localizzata di circa 10-15 litri al minuto (LPM) per nodo è spesso richiesto.
- Uniformità: Il design del collettore deve garantire una caduta di pressione uniforme in tutti gli slot del server. Una progettazione inadeguata del collettore porta alla "mancanza di energia" dei server all'estremità del serbatoio, causandone il surriscaldamento mentre gli altri rimangono freddi.
- Competenza di Walmate: Progettiamo e realizziamo collettori di distribuzione dei fluidi in acciaio inossidabile personalizzati utilizzando Simulazione CFD per garantire profili di velocità uniformi nell'intero volume del serbatoio.
| Componente | Funzione chiave | Specifiche critiche (dati) |
|---|---|---|
| Serbatoio ad immersione | Case apparecchiature IT e fluidi | Capacità: 42U – 52U; Energia: 100kW+ |
| CDU (scambiatore di calore) | Trasferisce il calore all'acqua dell'impianto | Temperatura di avvicinamento: 3 ° C - 5 ° C; Tipo: Piatto brasato |
| Pompe di circolazione | Sposta il fluido dielettrico | Portata: > 300 LPM (per serbatoio da 100 kW); Ridondanza: N + 1 |
| Sistema di filtrazione | Rimuove le particelle | Valutazione: 5 – 10 micron; Sostituibile durante l'esecuzione |
| Raffreddatore a secco | Rifiuta il calore nell'atmosfera | Temperatura dell'acqua di ritorno: 35 ° C - 45 ° C (Consente il raffreddamento gratuito) |
Il ROI dell'immersione: PUE, densità e TCO
Il passaggio al raffreddamento a immersione richiede una spesa iniziale in conto capitale (CapEx) più elevata per serbatoi e fluidi, ma il ritorno sull'investimento (ROI) è rapido e sostanziale. Le argomentazioni finanziarie a favore del raffreddamento a immersione si basano su tre pilastri: drastiche riduzioni del consumo energetico (OpEx), massicci aumenti della densità di elaborazione (con conseguente risparmio di spazio) e maggiore durata dell'hardware. Per un cluster NVIDIA H200 ad alta densità, il raffreddamento a immersione è spesso l'unico modo per ottenere un costo totale di proprietà (TCO) sostenibile.
Il raffreddamento a immersione riduce drasticamente i costi operativi (OpEx) attaccando le cause profonde dell'inefficienza del data center. Eliminando le ventole dei server e le unità CRAC ad alto consumo energetico, riduce il consumo energetico totale di 30-50%, consentendo valutazioni di Power Usage Effectiveness (PUE) basse fino a 1.03 rispetto all'1.5+ tipico delle strutture raffreddate ad aria. Inoltre, consente di aumentare la densità dell'hardware di 2-3x, risparmiando spazio prezioso e costi di costruzione.
Ripartizione del risparmio energetico
Il risparmio energetico deriva dall'eliminazione di due enormi carichi parassiti:
- Eliminazione dei ventilatori del server: In un server H200 raffreddato ad aria, le ventole possono consumare 15-20% della potenza IT totale per spingere l'aria attraverso dissipatori di calore densi. In immersione, le ventole vengono completamente rimosse. Questo riduce istantaneamente il carico IT fino al 20% a parità di potenza di calcolo.
- Raffreddamento senza compressore: Il raffreddamento ad aria richiede refrigeratori per produrre aria fredda (spesso 15-20 °C). L'olio di immersione funziona a temperature più elevate (40-50 °C), il che consente raffreddamento gratuito utilizzando solo refrigeratori a secco esterni in quasi tutti i climi, eliminando la necessità di refrigerazione meccanica ad alta intensità energetica (compressori).
Durata e affidabilità dell'hardware
L'immersione non si limita a raffreddare l'hardware, ma lo protegge. Questo prolunga il tempo medio tra i guasti (MTBF):
- Stabilità termica: L'elevata massa termica dell'olio elimina i rapidi picchi di temperatura (cicli termici) che causano l'affaticamento dei giunti di saldatura.
- Protezione dai contaminanti: I componenti immersi sono immuni a polvere, umidità, zolfo e ossidazione, che sono comuni responsabili della morte dei componenti elettronici raffreddati ad aria.
- Eliminazione delle vibrazioni: Senza ventole ad alta velocità, le vibrazioni acustiche vengono eliminate, proteggendo i connettori e gli array HDD.
| Metrico | Raffreddamento ad aria legacy | Raffreddamento ad olio ad immersione | Risparmio/Guadagno |
|---|---|---|---|
| PUE (efficienza di utilizzo dell'energia) | 1.4 - 1.6 | 1.03 - 1.05 | ~30% di potenza totale inferiore |
| Densità di potenza del rack (kW) | 15 - 30 kW | 100 kW – 200 kW+ | Densità 3x – 6x |
| Potenza della ventola del server | 15% – 20% del carico IT | 0% (Rimosso) | Guadagno di efficienza immediato |
| Tasso di guasto (MTBF) | Linea di base | Esteso (temperatura stabile) | Costo di manutenzione inferiore |
| Spazio sul pavimento richiesto | Alto (corridoi caldi/freddi) | Basso (serbatoi compatti) | ~60% di risparmio di spazio |
Sfide di progettazione e implementazione (e soluzioni)
L'implementazione del raffreddamento a immersione per i cluster H200 richiede il superamento di specifici ostacoli ingegneristici che vanno oltre la semplice termodinamica. La transizione introduce sfide fisiche uniche: Compatibilità dei materiali problemi in cui gli idrocarburi possono rimuovere i plastificanti dai cavi; Cavo di assorbimento, dove l'olio viaggia lungo l'isolamento del filo tramite azione capillare verso zone di non immersione; e Facilità di manutenzione vincoli che richiedono nuovi protocolli per la gestione di hardware oleoso. Per mitigare efficacemente questi rischi è necessaria una selezione accurata dei materiali, come l'utilizzo di cavi in PTFE e TIM in lamina di indio, oltre a una progettazione robusta dell'impianto.
Compatibilità dei materiali: il killer silenzioso
I componenti server standard sono progettati per l'aria, non per l'olio. L'esposizione prolungata a fluidi idrocarburici può causare la degradazione chimica di materiali specifici, con conseguente guasto del sistema.
- Isolamento del cablaggio: Standard PVC (cloruro di polivinile) I cavi contengono plastificanti che nel tempo possono penetrare nell'olio, rendendoli fragili e soggetti a crepe, contaminando al contempo il fluido dielettrico. Soluzione: Tutti i cavi sommersi devono essere sostituiti con PTFE (Teflon) or FEP isolante, chimicamente inerte nell'olio.
- Guarnizioni e Tenute: Le guarnizioni in gomma comuni, come l'EPDM, possono gonfiarsi o dissolversi. Soluzione: Usa il Vitone (FKM) or Nitrile (Buna-N) guarnizioni che hanno dimostrato una stabilità a lungo termine in ambienti contenenti idrocarburi.
- etichettatura: Le etichette di carta e gli adesivi standard possono staccarsi e intasare i filtri. Soluzione: Utilizzare etichette in poliestere resistenti all'olio o con incisione laser.
Il fenomeno del wicking (azione capillare)
Il petrolio ha una tensione superficiale molto bassa, che gli consente di risalire lungo il rame intrecciato all'interno di un cavo, viaggiando potenzialmente per metri dal serbatoio fino all'unità di distribuzione dell'alimentazione (PDU) o allo switch di rete.
- Rischio: Gocce di olio sulle piastrelle del pavimento non immerse o che penetrano nelle porte delle apparecchiature di rete.
- mitigazione: Installazione pressacavi ermetici o "blocchi di drenaggio" all'uscita del serbatoio. In alternativa, è possibile includere un "anello di servizio" nel percorso del cavo che scende al di sotto del punto di uscita, creando una trappola per gravità.
Modifica dei server H200 per l'immersione
Non è possibile semplicemente immergere nell'olio un battiscopa HGX H200 standard; per funzionare correttamente sono necessarie modifiche specifiche:
- Rimozione e spoofing delle ventole: Le ventole fisiche devono essere rimosse per consentire il flusso del fluido. Tuttavia, il BMC (Baseboard Management Controller) rileverà un guasto della ventola e impedirà l'avvio. Soluzione: Installazione fan spoofer (piccoli dongle) che inviano un falso segnale del contagiri "tutto a posto" alla scheda madre.
- Sostituzione TIM: Con il tempo, il grasso termico standard può deteriorarsi o dissolversi nell'olio. Soluzione: Sostituire il grasso con Lamina di indio o solido Materiale a cambiamento di fase (PCM) pastiglie. Il foglio di indio fornisce un'eccellente conduttività (86 W/m·K) ed è immune al dilavamento chimico.
| Fattore di rischio | Impatto potenziale | Strategia di mitigazione (soluzione ingegneristica) |
|---|---|---|
| Contaminazione di fluidi | Ridotta rigidità dielettrica; intasamento del filtro | Rimuovere tutte le etichette di carta; Utilizzare cavi privi di PVC; Continuo Filtrazione a 10 µm. |
| Cavo di assorbimento | Perdite di olio all'esterno del serbatoio (pericolo per la sicurezza) | Utilizzare filo a nucleo solido ove possibile; Installare blocchi di tenuta a compressione all'uscita del serbatoio. |
| TIM Washout | Surriscaldamento della GPU dovuto alla formazione di spazi vuoti | Sostituisci incolla con Lamina di indio o cuscinetti in grafite (stabili verticalmente). |
| Guasto del sigillo | Enorme perdita di fluidi (problema ambientale) | Usa il O-ring in Viton/FKM; Progettare serbatoi di contenimento a doppia parete. |
Domande frequenti (FAQ)
1. Il raffreddamento a immersione annulla la garanzia NVIDIA?
Modificare una scheda madre HGX H200 standard raffreddata ad aria rimuovendo ventole e dissipatori invaliderà la garanzia standard. Tuttavia, NVIDIA collabora con integratori di sistemi certificati (come Supermicro, Gigabyte, QCT) che offrono “pronto per l'immersione” SKU completamente garantiti per l'immersione in liquidi. Acquistare sempre hardware certificato per l'immersione anziché installare unità standard in un secondo momento per garantire la copertura del supporto.
2. Con quale frequenza è necessario cambiare l'olio dielettrico?
I fluidi dielettrici sintetici PAO di alta qualità sono incredibilmente stabili. A differenza dell'acqua e glicole nei circuiti DLC, che potrebbero richiedere manutenzione ogni 3-5 anni, l'olio per immersione monofase ha in genere una durata superiore a 10 a 15 anniIl fluido viene filtrato continuamente per rimuovere le particelle e si consiglia di effettuare analisi di laboratorio periodiche per verificare l'eventuale ossidazione o infiltrazione di umidità, ma raramente è necessaria una sostituzione completa durante il ciclo di vita del server.
3. Posso adattare i server H200 raffreddati ad aria esistenti all'immersione?
Tecnicamente sì, ma richiede un notevole impegno ingegneristico. È necessario rimuovere tutte le ventole, sostituire il TIM con fogli di indio o pad in grafite (poiché la pasta si lava via), installare spoofer per le ventole e potenzialmente modificare il BIOS. Sebbene possibile per le prove di concetto, non è consigliato per i cluster di produzione a causa dei rischi di garanzia e dei costi di manodopera. I server immersivi appositamente progettati sono la scelta migliore.
4. Cosa succede se la pompa si guasta in una vasca di immersione?
L'immersione offre un notevole margine di sicurezza rispetto alle piastre fredde. Poiché il serbatoio contiene oltre litri 1,000 di fluido, c'è un'immensa massa termica. Se la circolazione si interrompe, la temperatura del fluido aumenta lentamente, dando agli operatori diversi minuti per reagire prima che vengano raggiunti i limiti della giunzione a T. Inoltre, i progetti di sistemi robusti utilizzano Pompe ridondanti N+1, quindi un singolo guasto della pompa non interrompe la circolazione né influisce sulle prestazioni di raffreddamento.
5. L'olio minerale è infiammabile?
I fluidi dielettrici sono combustibili ma difficili da accendere. I fluidi di immersione standard hanno un punto di infiammabilità elevato, in genere >150°C (302°F)Poiché la temperatura di esercizio dell'olio viene mantenuta tra 40 °C e 50 °C, esiste un ampio margine di sicurezza, superiore a 100 °C. I sistemi antincendio sono standard nei data center, ma il rischio di autoaccensione è estremamente basso rispetto ai rischi di incendio elettrico nei rack raffreddati ad aria.
6. Quanto spazio a pavimento si risparmia con il raffreddamento a immersione?
Il raffreddamento a immersione migliora drasticamente l'efficienza dello spazio. Un rack standard raffreddato ad aria potrebbe supportare 30kW, che richiede una spaziatura significativa per i corridoi caldi/freddi. Un serbatoio di immersione può gestire Da 100 kW a 200 kW in un ingombro simile senza bisogno di corridoi. Ciò si traduce in genere in un Riduzione dal 60% all'75% nello spazio vuoto richiesto per la stessa quantità di potenza di calcolo.
7. Walmate può progettare serbatoi di immersione o CDU personalizzati?
Sì. Walmate Thermal è un produttore specializzato di componenti termici critici per un ecosistema di immersione. Progettiamo e produciamo componenti ad alta efficienza. scambiatori di calore a piastre brasate per CDU e collettori di fluidi in acciaio inossidabile personalizzati per garantire una distribuzione uniforme del flusso all'interno dei serbatoi. Collaboriamo con integratori di sistema per fornire l'hardware termico su misura necessario per le installazioni H200O ad alta densità.
Conclusione
NVIDIA H200 richiede un cambio di paradigma termico. Con densità rack superiori a 50 kW, la fisica del raffreddamento ad aria è diventata un problema, limitando le prestazioni e gonfiando i costi operativi. Il raffreddamento a olio a immersione non è solo un'alternativa; è la strada ingegneristica collaudata per liberare il pieno potenziale dell'infrastruttura AI. Eliminando la resistenza termica e i carichi parassiti delle ventole, consente di raggiungere prestazioni di picco riducendo al contempo il consumo energetico.
Per implementare con successo questa tecnologia non basta un semplice serbatoio: è necessaria un'architettura idraulica solida e integrata, in grado di gestire flussi di calore massicci con assoluta affidabilità.
Collabora con gli esperti del raffreddamento ad alta densità.
Walmate Thermal è specializzata nella produzione di hardware critico che alimenta i sistemi a immersione. Da sistemi ad alta efficienza scambiatori di calore a piastre brasate per i tuoi CDU a collettori di distribuzione dei fluidi in acciaio inossidabile personalizzati Su misura per la geometria del tuo serbatoio, forniamo la struttura termica per i data center di nuova generazione. Ti aiutiamo a progettare un sistema che gestisce 100 kW+ rack con facilità.Contatta oggi stesso i nostri ingegneri termici per una consulenza. Costruiamo un futuro più fresco e veloce per l'intelligenza artificiale.
