理研:「富岳」独自の冷却システム:CPU、常時30度以下(動画):
RIKEN: “Fugaku” original cooling system: CPU, always 30 degrees:
RIKEN:“Fugaku”原始冷却系统:CPU,始终在30度以下
ー裏側で繰り広げられる「熱との闘い」ー
理研の「富岳」:
計算速度で世界一に輝いた理研の「富岳」
裏側で繰り広げられる「熱との闘い」に迫った。
「富岳」は、電力消費に伴って生じる巨大な熱に対応するため、独自の冷却システムが備えられている。
独自の冷却システム:
冷却システムを担当の塚本俊之・副部門長はこう説明する。
「富岳」の発熱密度(単位面積当たりの発熱量)は原発の原子炉クラス。
さらに発熱量も、計算の内容によって、消費電力が大きく上下する。
これほど巨大な熱変動への対応が求められるのはスパコンしかない。
理研計算科学研究センター:
「富岳」を支える冷却システム建屋3階の計算機室に並ぶ432個のラック。
高性能CPUが、計16万個入っている。
スパコンの運転によって、CPUが動作すると発熱する。
スパコンの発熱密度:
その発熱密度は、「最大で1㎡当たり100キロワット」を超える。
電気ストーブ(1kW)が、「1㎡の中で、同時100台動いているほど」の大きな熱だ。
CPUを30度以下に保つ:
「原発と似た仕組みのCPUを、効率よく動作させる」ためには、常に30度以下に保つ必要がある。
冷却しなければ、数秒で100度以上になってしまう。
ボードに水を流して冷却:
「富岳」では、CPUを搭載したシステムボードに水を流して冷却している。
その仕組みも、原発と似た大規模なものだ。
冷却システムは2系統:
冷却システムは「1次冷却回路」と「2次冷却回路」の2系統に分かれる。
これらを組み合わせて、うまく温度を調節している。
「2次冷却回路」:
CPUを直接的に冷やすのは2次冷却回路。
- 発熱した16万個のCPUの近くを、約15度の水が循環して熱を奪う。
- その熱によって、水は19~25度に温められ、熱交換器へ戻ってくる。
「1次冷却回路」:
- 2次冷却回路の水は、計11台の冷凍機で冷やされ、
- 1次冷却回路の水で、15度まで冷やされ、再び回路を循環していく。
1次系と2次系を使い分け:
1次系と2次系を分けて水が混じり合わないようにしている。
CPU近くの細い配管が、不純物によって詰まるのを防ぐためだ。
2次系には、不純物を取り除いた純水に腐食防止剤を混ぜた水が使われている。
一方、1次系は工業用水を循環させている。
発熱量変動への対応:
スパコンの運転中は、どのような計算をするかによってCPUの動作状況が細かく変わる。
- それに合わせて消費電力、発熱量も大きく変動する。
- わずか1000分の1秒の間に、発熱量が大きく跳ね上がる。
水の動きをシミュレーション:
そこで塚本さんたちは、複雑な配管を循環する水の動きをシミュレーション。
「仮に想定外のことが起きても対応できるシステム」を考えた。
水温度監視センサーの設置:
その上で、「CPUへ向かう2次系の水の温度を常に監視するセンサー」を設置。
- 2次系の水の温度が、
- 約15度で一定になるように、
- 1次系の水の循環量を調整する、
監視システムを組んでいる。
毎日新聞 – 科学・技術
https://headtopics.com/jp/124731249712467538144-18681372
「富岳」をMatterport(マーターポート)で見学
「富岳」:
1つのマザーボードに、CPUを2つずつ載せ、
1つの計算機ラックは、192枚のマザーボードで構成、
計384のCPUが搭載されています。
15万台のコンピュータを連結:
計算機ラックの高さは220cm、重さは2tもあります。
そのラックが432台(384CPU×396ラック、192CPU×36ラック)あります。
合計15万個以上のCPUを持った「富岳」が構成されています。
つまり15万台以上のコンピュータが連結しているのが「富岳」なのです。
冷却システム:
そしてラックが並んだ計算機室床下の階には、
「富岳」を水で冷却するためのポンプと熱交換器が配置され、
冷却水が流れるパイプが天井に張り巡らされてています。
itok