GPU ブロック図の基本とは？初心者向けの5つのポイント！

最近、AIやディープラーニングのお話でGPUという言葉をよく耳にしますよね。
でも、いざ仕組みを理解しようとして図解を見てみると、専門用語や細かい四角い箱ばかりで、戸惑ってしまうことはありませんか？

「たくさん箱が並んでいるけれど、どこからどう見ればいいの？」
「プログラミングを始めたいけれど、ハードウェアの難しい知識はどれくらい必要なのかな？」
もしかしたら、あなたもそんなふうに感じていらっしゃるかもしれませんね。

そんな疑問をお持ちのあなたに、この記事はきっとお役に立てると思います。
複雑に見える図解も、実はいくつかの「決まった見方のコツ」を知るだけで、スッキリと読み解くことができるようになっちゃうんですね。

この記事では、基礎となる仕組みから最新のトレンドまで、例え話を交えながら分かりやすく順番に紐解いていきます。
最後まで読んでいただければ、きっと「なるほど、そういう構造になっていたんだ！」と、自信を持って理解できるようになるはずです。
私たちと一緒に、少しずつGPUの謎を解き明かしていきましょう。

GPU ブロック図は「2つの視点」で分けると理解しやすいです

いろいろな参考書やWebサイトの資料を眺めていると、図の中身が全然違うように見えることがありますよね。
実は、GPUの構造を図解するときには、大きく分けて「2つのレベル」の視点が存在していると言われています。

1つ目は、物理的なハードウェアの構成を描いた図です。
そして2つ目は、ソフトウェア側のプログラミングモデルを描いた図なんですね。

この2つの視点を、頭の中でしっかりと分けてあげることが、一番の近道になるかもしれません。

物理的な図には、チップ全体の中でのキャッシュメモリの配置や、演算を行うコアがどのように並んでいるかといった、機械そのものの姿が描かれています。
一方で論理的なプログラミングの図には、プログラムがどのように分割されて実行されるのかという、処理のルールが描かれているんですね。

「今私が見ているのは、機械の形なのかな？それとも処理のルールなのかな？」
そんなふうに問いかけながら見ていただくと、きっと迷子にならずに済むと思います。

なぜGPU ブロック図は複雑に見えてしまうのでしょうか？

「視点を分ければいいのは分かったけれど、やっぱりパッと見は難しそう…」
そう思ってしまうのも、決して不思議なことではありませんよね。

なぜそんなに複雑に感じてしまうのか、一緒にその理由を探っていきましょう。
理由が分かれば、きっと図解に対する苦手意識も和らいでいくはずですよ。

ハードウェアとソフトウェアの要素が混ざっているからかもしれません

実は多くの解説資料では、限られたスペースでたくさんのことを伝えようとしています。
そのため、物理的な構造とプログラムのルールが一枚の絵の中にギュッと詰め込まれていることが、とても多いんですね。

例えば、「SM（Streaming Multiprocessor）」という言葉を聞いたことはありますか？
これは、GPUの中にある物理的な演算のまとまりのこととされています。
でも、プログラミングの解説を読んでいると、突然「スレッド」や「ブロック」といったソフトウェアの言葉が一緒に出てきたりするんですね。

ハードウェアのお話と、ソフトウェアのお話が同時に進行してしまうので、頭の中がごちゃごちゃになってしまうのは当然のことだと思います。
「ここまでは機械のお話」「ここからはプログラムのお話」と、優しい気持ちで線を引いて読んであげるのがコツかもしれませんね。

いくつもの「階層構造」が重なっているからですね

もう一つの理由は、GPU特有のマトリョーシカのような階層構造にあると言われています。
大きな箱を開けると中から中くらいの箱が出てきて、その中にまた小さな箱がいくつも入っているようなイメージですよね。

GPUは、膨大な計算を同時に行うために、作業を細かく分担する仕組みを持っています。
その分担の仕組みが何層にも重なっているため、全体像を一度に把握しようとすると、どうしても目が回ってしまうかもしれません。

例えば、チップ全体という大きな枠組みがあり、その中に演算ブロックの群れがあり、さらにその中に小さなコアがたくさん入っています。
これをすべて一度に覚えようとしなくても大丈夫ですよ。
「今はどの大きさの箱を見ているのかな？」と意識するだけで、うんと分かりやすくなると思います。

GPU ブロック図を読み解くための3つの具体例

ここからは、実際によく目にする図解のパターンを3つに分けてご紹介していきますね。
具体的な例を見ながら、少しずつイメージを膨らませていきましょう。

専門用語もいくつか出てきますが、テストがあるわけではないので丸暗記する必要は全くありません。
「こういう役割のチームがあるんだな」くらいの、ゆったりとした気持ちで読んでみてくださいね。

具体例1：実行階層を描いたプログラミングモデル

CUDA（クーダ）と呼ばれるプログラミング環境の資料で、一番よく登場するのがこの図です。
プログラムをどのように分割して、GPUの中のたくさんの作業員に割り振るかという、指示書の構造を示しているんですね。

ここでは、作業のまとまりが大きなものから小さなものへと分けられています。
代表的な階層は、次のように言われています。

グリッド（Grid）：全体の作業のまとまり（カーネルと呼ばれる処理の1回分）
ブロック（Block）：グリッドを分割した中くらいのまとまり
スレッド（Thread）：一番小さな、実際に計算を行う作業員

この階層を会社に例えてみると分かりやすいかもしれませんね。
「グリッド」という一大プロジェクトを、まずはいくつかの「ブロック」というチームに分けて、さらにチーム内のメンバーである「スレッド」たちで作業を分担している様子が浮かんでくるのではないでしょうか。
1つのブロックには、数百から最大1024個程度のスレッドが含まれることが多いとされています。

スレッドをまとめる「ワープ」という実行単位

ここで、もう一つ大切な概念が登場します。
それが「ワープ（Warp）」と呼ばれるグループなんですね。

GPUは、32人の作業員（スレッド）を1つのセットとして扱い、全く同じ命令を同時に実行させるのが得意だと言われています。
この32スレッドのセットが「ワープ」です。

ですから、より詳しい図解になると、次のような4階層で描かれることも多いんですよ。

グリッド（プロジェクト全体）
ブロック（チーム）
ワープ（32人一組の小隊）
スレッド（個人の作業員）

「チームの中には、さらに32人一組の息の合った小隊がいるんだな」と思っていただければバッチリです。

具体例2：メモリ階層と実行階層を合わせた図

次によく見かけるのが、先ほどの「作業員のチーム分け」と、「データを置いておく場所（メモリ）」を対応させた図です。
最近の解説では、プログラムを効率よく動かすために、この2つをセットにした図がとても増えていると言われています。

データ置き場にも、自分専用の小さな引き出しから、みんなで使う大きな倉庫まで、いろいろな種類があるんですね。
それぞれアクセスできる範囲（スコープ）が決まっているのが特徴です。

スレッドやブロックごとのメモリの違い

それぞれの作業員（スレッド）が、どのデータ置き場を使えるのかを見てみましょう。
図解の中では、次のような対応関係として描かれています。

レジスタ：各スレッド専用の小さなポケット。
一番速く出し入れできますが、他の人は見られません。
共有メモリ（またはL1キャッシュ）：同じブロック（チーム）に所属するスレッド同士で共有できる、チーム専用のホワイトボードのような場所。
L2キャッシュ：GPUチップ全体のみんなで使う連絡掲示板。
グローバルメモリ：VRAM（デバイスメモリ）と呼ばれる、一番大きなデータ倉庫。
すべてのスレッドがアクセスできます。

「このスレッドは、どこのデータ置き場にアクセスしているのかな？」
プログラミングをするときには、この対応関係を1枚の絵にまとめた資料が、とても強い味方になってくれるはずです。

具体例3：SM（Streaming Multiprocessor）単位のハードウェア構成

3つ目は、より機械の形に近い、ハードウェア寄りの図解です。
GPUの中には、SM（Streaming Multiprocessor）と呼ばれる、工場の一つの建屋のような演算ブロックがいくつも並んでいます。
（※メーカーによってはCU（Compute Unit）などと呼ばれることもありますね。）

このSMの中身を拡大して見せてくれるのが、このタイプの図解なんですね。
SMの内部には、次のような部品がぎっしりと詰まっていると言われています。

多数のCUDAコア（SP：Streaming Processor）：実際の計算をする小さな作業台。
ワープスケジューラ：32スレッドの小隊（ワープ）に指示を出す監督さん。
レジスタファイル：専用の引き出しの集まり。
共有メモリやL1キャッシュ：チーム内のホワイトボード。
ロード/ストアユニット：データを運ぶ運搬係。

「プログラム側の『ブロック』というチームは、このハードウェア側の『1つのSM』という建屋の中で処理される」
そう考えると、ソフトウェアの世界とハードウェアの世界がピタッと結びつきませんか？
この関係性が分かると、図を読み解くのがぐっと楽しくなってくると思いますよ。

最新の図に見られる新しいトレンドとは？

少しだけ発展的なお話をさせてくださいね。
近年の新しいGPUの図解には、昔はなかった要素も描かれるようになってきたと言われています。
AIやディープラーニングの発展に合わせて、特別な部品がどんどん追加されているんですね。

これが分かると、最新のニュースを読んだときにも「あ、あのことだ！」とピンとくるようになるかもしれません。

AIを加速する専用ユニットたちの登場

例えば、SMの中にTensor Core（テンサーコア）やMatrix Coreと呼ばれる、行列の計算に特化した専用ユニットが組み込まれるのが標準的になってきています。
AIの計算は行列の掛け算がとても多いので、それを専門にこなす職人さんが追加されたイメージですね。

図解の中にも、CUDAコアとは別の独立した四角いブロックとして描かれていることが多いです。
「これがAIを賢くしている心臓部なんだな」と思いながら見てみると、少しワクワクしてきませんか？

大容量で高速なHBMの搭載

また、データの大倉庫であるメモリの部分も進化しています。
従来のGDDRというタイプから、HBM（High Bandwidth Memory）という、よりたくさんのデータを一度に運べるタイプが増えてきているそうです。

HBMは、メモリのチップが何層にも積み重なったスタック構造をしているのが特徴です。
図解の中で、メモリの部分がミルフィーユのように積み重なっている絵を見たら、「あ、これは最新のすごいメモリなんだな」と思っていただければ大丈夫ですよ。

複数GPUを繋ぐマルチGPU構成

さらに、最新のAIの研究などでは、とても1つのGPUでは計算が追いつかず、複数のGPUを繋げて使うことも多いですよね。
そのため、NVLinkやInfinity Fabricといった特別な通信技術を使って、複数のGPUを接続した「マルチGPUシステム」の全体図を見かける機会も増えているかもしれません。

技術の進化に合わせて、図の中身も少しずつアップデートされているんですね。
私たちも、そんな進化の過程を楽しみながら見守っていけたら素敵だなと思います。

GPU ブロック図の読み方のおさらいです

ここまで、たくさんのことを一緒にお勉強してきましたね。
少し情報が多かったかもしれませんが、決して焦らなくて大丈夫ですよ。
大切なポイントを、もう一度ここで優しく整理しておきましょう。

まず一番大切なのは、図を見たときに「物理的な構造」と「プログラミング上の論理的な構造」の2つに分けて考えることでしたね。
これを意識するだけで、迷子になる確率がグッと減るはずです。

そして、プログラムの実行階層は「グリッド → ブロック → ワープ → スレッド」というマトリョーシカのような階層になっていることをご紹介しました。
一番小さな作業員であるスレッドが、32人一組のワープという小隊になり、それが集まってブロックというチームを作り、さらに全体でグリッドになるんですね。

データ置き場（メモリ）にも階層があり、スレッド専用の「レジスタ」、ブロック全員で使う「共有メモリ」、みんなで使う「グローバルメモリ」というように対応付けられていました。
この関係性をセットで覚えておくと、プログラムの動きがとても想像しやすくなると思います。

最後に、物理的な構造としては「SM（Streaming Multiprocessor）」という演算のまとまりがあり、1つのブロック（チーム）は1つのSM上で処理されるという繋がりもお話ししました。
最新の図解では、Tensor CoreなどのAI向けユニットや、HBMといった高性能なメモリが描かれていることも特徴的でしたね。