Nvidia H100 チップは世界で最も求められています

最近は誰もが Nvidia の H100 チップを手に入れたがっているようです。

生成型 AI 主導の検索エンジンを構築している Microsoft と Google は、Nvidia の H100 チップの最大の顧客の一部です。 サーバーメーカー最新の注文を受け取るまでに 6 か月以上待ったと主張しています。 ベンチャーキャピタルの投資家は、投資先のスタートアップのためにH100チップを買い占めている。

しかし、H100の確保を求めているのはハイテク企業だけではない。匿名の情報源を引用したフィナンシャル・タイムズ紙によると、サウジアラビアとUAEは独自のAIアプリケーションを構築するためにこの4万ドルのチップを数千個調達したと報じられている。

ある企業の 1 つのチップに対するこの急激な需要は、ある種の熱狂的な買い占めを引き起こしました。 OpenAI の Andrej Karpathy 氏が Twitter の投稿で述べたように、「誰が H100 を何枚獲得し、いつバレー界の噂のトップになるのか」。

イーロン・マスクでさえ、マーク・ザッカーバーグとの戦いに執着するさなか、時間を見つけてはNVIDIAのチップの不足についてコメントした。 （マスク氏は、昨年デビューしたH100チップのことを言っているのか、それともNvidiaのチップ全般のことを指しているのかは明らかにしていない。しかし、AI用チップが現時点で大流行しているのは確かだ。）マスク氏のテスラは、Dojoという名前の新しいスーパーコンピューターの構築に10億ドルを費やしている。 、自律走行車のフリートを訓練し、そこからのデータを処理します。 Dojo計画が始まったのは、テスラが十分な資金を持っていなかったからだとマスク氏は語った。 Nvidia GPU - これらのチップはグラフィックス プロセッシング ユニットと呼ばれます。 「率直に言って…彼らが十分なGPUを提供してくれれば、Dojoは必要なくなるかもしれない」とマスク氏は7月の電話会議で投資家やアナリストに語った。 「彼らにはとてもたくさんの顧客がいます。 それにもかかわらず、彼らは私たちの GPU 注文の一部を優先してくれるほど親切でした。」

テスラが必要な数のチップをエヌビディアから受け取ることができたなら、それらのチップは専用コンピューターに組み込まれ、膨大な量のビデオデータをトレーニングすることになっていただろう。マスク氏によれば、これは「自律性のための一般的なソリューション」を達成するために必要であるという。 」

データは何らかの方法で処理する必要があります。 したがって、Dojoは、自動運転車に必要な量のデータを処理するための生成AIシステムではなく、ビデオトレーニング用に最適化されるように設計されており、これは人間の運転よりも安全な自動運転を実現するために重要である、とマスク氏は述べた。

大規模言語モデル (LLM) は、質問に対する複雑な応答を生成するために、大量のデータでトレーニングされます。 ただし、LLM を検索エンジンなどの実世界のアプリケーションに統合するには、大量のコンピューティング能力が必要です。

ワシントン大学とシドニー大学の研究者は、ある研究で、LLM の運営にかかる高額なコストを分析しました。 Google は 1 秒あたり 99,000 件を超える検索クエリを処理します。 GPT-3 がすべてのクエリに埋め込まれ、各クエリが何らかの操作を実行する権利を表すオブジェクトである 500 個のトークンを生成すると仮定すると、Google が維持するには約 27 億個の A100 GPU (古い Nvidia AI チップ) が必要になります。上。 これらの GPU のコストは、資本支出だけで 400 億ドルを超えるだろうと研究者らは推定しています。

ハーバード・ビジネス・スクールの経営実践教授で、以前はIBMやシリコンバレー・グラフィックスで働いていたウィリー・シー氏は、グーグルや他の企業が必要としているのは、同じ価格かそれ以下の価格でより高性能なチップだ、と語る。コンピューター科学者のグレース ホッパーにちなんで名付けられた Nvidia H100 を紹介します。 H100 は生成 AI 向けに調整されており、以前のモデルよりも高速に動作します。 チップが強力であればあるほど、クエリをより速く処理できると Shih 氏は言います。

高性能 AI チップに対する需要は、競合他社が追いつくために競う中、幸運もあって市場をリードしている Nvidia にとって恩恵となっています。

生成型 AI の新興企業がスケールアップに取り組んでおり、H100 が不足していることが判明する中、独自の Nvidia に似たチップの開発に取り組んでいる Amazon や Google などの競合他社がこの状況に乗り出すチャンスとなっています。 Amazon のチップは Inferentia と Tranium と呼ばれています。 Google は Tensor Processing Unit です。