Grok-1
Grok-1
Active

Grok-1

Grok-1 は、xAI の 2024 Apache-2.0 オープンウェイト 314B 専門家混合ベース モデルであり、現在の Grok アシスタントではありません。このガイドでは、そのアーキテクチャ、ハードウェアの負担、導入の選択肢、代替案、および歴史的な関連性について説明します。

42

Views

0

Likes

Jan 2026

Added

github.com

Website

Tags

open-source-llmfree

Editorial Review

About Grok-1

Grok-1 これは、xAI がオープンウェイトとサンプル JAX コードとともに 2024 年 3 月にリリースした、3,140 億パラメーターの専門家混合ベース モデルです。これは、研究者およびインフラストラクチャ チーム向けの歴史的なモデル リリースであり、現在の Grok Consumer Assistant や現在のすべての xAI の背後にあるモデルではありません。 API 機能。 2026 年 6 月の時点で、xAI の現在の Grok 製品ドキュメントには Grok 4.5 が導入されていますが、その製品にはチャット、ファイル、音声、コネクタ、画像とビデオの作成、および Grok-1 チェックポイントには存在しなかったその他のサービスも含まれています。

この区別は、このページで最も重要な事実です。 Grok-1 をダウンロードすると、xAI によれば、ダイアログや別の特定のアプリケーション向けに微調整されていないという生の事前トレーニング チェックポイントが得られます。 grok.com、ライブ X ナレッジ、現在のエージェント ツール、Grok Imagine、安全システム、ホスティング、または新しい独自モデルの動作は再作成されません。

Hand-drawn Grok-1 mixture-of-experts diagram showing eight experts with two active for each token
Grok-1 は、8 人の専門家のうち 2 人を介して各トークンをルーティングします。完全なチェックポイントには 314B のパラメーターが含まれていますが、重みの約 25% がトークンに対してアクティブになっています。

Grok-1 技術仕様

仕様公式 Grok-1 リリース実用的な意味
モデルタイプ生の基本言語モデルユーザー向けの展開の前に、タスクの適応、プロンプト、評価、安全作業が必要です
合計パラメータ314Bチェックポイントのストレージとメモリの要件は、一般的なワークステーションをはるかに超えています
建築8人の専門家の混合ルーターはトークンごとにエキスパート フィードフォワード パスのサブセットを選択します
トークンごとに使用されるエキスパート2、体重の約25%がアクティブアクティブなコンピューティングは高密度 314B モデルよりも低いですが、すべての重みには依然として適切なストレージとサービス戦略が必要です
レイヤー64実質的な分散推論要件を備えたディープトランスフォーマースタック
注意48 個のクエリ ヘッド、8 個のキー/値ヘッドグループ化されたキー/値ヘッドにより、アテンション メモリ コストの一部が削減されます。
埋め込みサイズ6,144大規模な非表示表現はモデルのメモリと計算に貢献します
トークナイザーSentencePiece、131,072 トークンの語彙アプリケーションは、互換性のあるトークン ID に対してリリースされたトークナイザーを使用する必要があります
最大シーケンス長8,192トークン多くの新しいロングコンテキスト モデル製品よりもはるかに短い
参照スタックJAX コード例;アクティベーションシャーディングと 8 ビット量子化のサポートリポジトリは、最適化された運用サーバーではなく、正確性を実証します。
ライセンスリポジトリ ソースと Grok-1 の重みに対する Apache License 2.0正確なライセンス範囲、すべてのサードパーティの依存関係、および下流の使用義務を確認します。

オープンウェイトだからといってすぐに走れるわけではない

xAI のリポジトリは、含まれている専門家の混合実装が非効率的であり、カスタム カーネルなしでモデルの正確性を検証するために選択されたものであることを明示的に警告しています。参照パスでは、314B チェックポイントに十分な GPU メモリを備えたマシンが必要です。 8 ビットの重みを使用する場合でも、実行時のオーバーヘッド、キャッシュ、フレームワーク バッファー、レプリケーション、および冗長性を除くと、生の重みストレージだけで数百ギガバイトのオーダーになります。低ビットのコミュニティ変換はメモリを削減できますが、精度が変わる可能性があり、xAI の公式チェックポイントと同じアーティファクトではありません。

本格的な展開には、互換性のあるチェックポイント形式、シャーディング プラン、最適化された MoE カーネル、アクセラレータ トポロジ、モデル サーバー、トークナイザー サービス、バッチ ポリシー、キー/値キャッシュ戦略、監視、および回復が必要です。相互接続トラフィックと個々の GPU 使用率を測定します。デバイス間での専門的なルーティングにより、通信がボトルネックになる可能性があります。

Grok-1 と現在の Grok 製品との比較

能力Grok-1 無重力チェックポイント現在の Grok 製品/API
目的2023 年時代の基本モデルを使用した研究と自己ホスト型実験現在のアシスタントおよび開発者サービス
対話行動リリースされたチェックポイントでは命令や対話が微調整されていない製品固有のポストトレーニング、プロンプト、ツール、および安全対策
現在の情報組み込みのライブ検索や X アクセスはありませんサーフェスに応じて、現在の検索、X コンテキスト、コネクタ、またはエージェント ツールが含まれる場合があります
マルチモダリティテキストベースモデルとしてリリース現在の製品ドキュメント ファイル、音声、画像、ビデオ、および Grok Imagine 機能
運営ハードウェア、サービス、スケーリング、セキュリティ、モニタリングを提供するのはお客様ですxAI は、プラン、制限、条件、および可用性に従ってホスト型サービスを運用します。
モデルの生成Grok-1新しいモデルファミリー。現在のドキュメントでは Grok 4.5 が特定されています

Grok-1 がまだ意味をなす場合

  • 環境省の調査: 大規模にリリースされた専門家混合アーキテクチャ、ルーティング動作、シャーディング、推論の最適化を検査します。
  • 生殖研究: 公式チェックポイントとリファレンス実装をコミュニティのランタイムまたは変換と比較します。
  • 歴史的評価: 制御されたベンチマークの下で、著名な 2023 年の事前トレーニング チェックポイントが、その後のオープン モデルと比較してどのように動作するかを研究します。
  • インフラストラクチャの実験: 適切なハードウェアがすでに存在する場合は、分散読み込み、量子化、エキスパート配置、およびサービス提供システムをテストします。

これは通常、単に有能な自己ホスト型アシスタントを必要とする新しいアプリケーションにとっては不適切なデフォルトです。新しくて小規模なオープン モデルでは、より強力な指示のフォロー、より長いコンテキスト、マルチモダリティ、より簡単なサービス提供、より優れたツールの使用、およびより低い総コストを提供できます。関連する比較は、パラメータの総数ではなく、ハードウェアおよびエンジニアリング作業の単位あたりの受け入れられたタスクのパフォーマンスです。

導入決定チェックリスト

  1. 研究または製品の理由を定義します。 新しい高密度モデルや MoE モデルではなく Grok-1 が必要な理由を説明してください。
  2. 完全な設置面積を見積もります。 ダウンロードされたチェックポイント、変換されたコピー、メモリ、キー/値キャッシュ、一時ストレージ、レプリカ、バックアップが含まれます。
  3. サービスを提供する実装を選択します。 正確なアーキテクチャ、トークナイザー、量子化、エキスパート ルーティング、およびターゲット ハードウェアをサポートしていることを確認します。
  4. 変換を検証します。 変換されたチェックポイントを信頼する前に、ロジットまたは固定評価スイートを公式リファレンスと比較します。
  5. ポストトレーニングまたはコントロールを追加します。 生の基本モデルは安全なチャット アシスタントではありません。使用目的に合わせて、プロンプト、微調整、調整、および拒否の動作を定義します。
  6. エンドツーエンドのベンチマーク。 ロード時間、1 秒あたりのトークン、最初のトークンまでの時間、バッチ スループット、メモリ、通信オーバーヘッド、電力、障害率、出力品質を記録します。
  7. サービスを保護します。 リクエストを認証し、モデル ワーカーを分離し、入力の長さと同時実行を制限し、ログを保護し、管理エンドポイントへの信頼できないアクセスをブロックします。

比較する代替案

代替パスなぜ比較するのか判断基準
新しいオープンウェイト高密度モデルよりシンプルなサービングと強力な命令調整されたバリアント同じハードウェア予算で品質とスループットを実現
新しいオープンウェイト MoE モデル新しい機能によりスパース コンピューティングの研究価値を維持カーネルのサポート、アクティブなパラメータ、コンテキスト、ライセンス、およびエコシステム
xAI がホスト API314B チェックポイントを操作せずに現在の Grok モデルにアクセスタスクの成功、データ条件、地域の可用性、待ち時間、コスト
その他のホストされたフロンティア APIより広範なプロバイダーとガバナンスの比較受け入れられた結果のコスト、ツール、コンテキスト、安全性、サポート、切り替えリスク
リトリーブプラス小型モデル承認されたデータに基づく小規模なモデルは、狭いジョブでは大規模な基本モデルよりも優れたパフォーマンスを発揮できます。証拠の精度、遅延、保守性、インフラストラクチャの総コスト

評価指標

  • タスクの成功: 人間によるレビュー後に受け入れられた代表的なタスクの割合。
  • サービス効率: 有用なバッチ サイズでの、アクセラレータごとの 1 秒あたり、およびワットあたりの出力トークン。
  • 最初のトークンまでの時間: ルーティングやプレフィルを含む、キューイング後のインタラクティブな遅延。
  • 量子化後の品質: タスクのメトリクスと失敗パターンと基準精度の変化。
  • 総費用: ハードウェア、電源、ストレージ、ネットワーキング、エンジニアリング、ダウンタイム、および受け入れられた結果ごとのレビュー。
  • 安全行動: 意図したアプリケーションの有害な完了、データ漏洩、プロンプトインジェクション、およびポリシーの失敗率。

変換または量子化されたチェックポイントを検証する方法

ほとんどのチームは、元の JAX チェックポイントを直接提供しません。変換により、テンソルの順序変更、エキスパート ルーティングの変更、トークナイザー ファイルの変更、異なる数値精度の選択、またはランタイム固有のカーネルの導入が可能になります。もっともらしい完了を 1 つ読んでそれを検証しないでください。ファイルマニフェストとハッシュから始めて、テンソル名と形状を確認し、決定論的な一連のトークン ID と次のトークン ロジットを、選択したレイヤーの公式リファレンスまたはツールチェーンが許可する最終出力と比較します。

次に、意図したシーケンス長とバッチ サイズで固定評価セットを実行します。複雑さまたはタスクの正確さ、数値のドリフト、専門家の選択、繰り返し、出力の切り捨て、言語の動作、および長いプロンプトでの失敗を比較します。変換スクリプトのコミット、ソース チェックポイント ハッシュ、量子化方法、調整データ、ランタイム バージョン、カーネル フラグ、およびハードウェアを記録します。コミュニティ ファイルは、xAI のリリースと互換性のあるものではなく、独自の出自を持つ別のビルド アーティファクトとして扱います。

ライセンスとガバナンスのレビュー

Apache 2.0 は寛容ですが、展開に関するすべての質問に答えられるわけではありません。必要な通知を保存し、文書を変更し、実際の配布モデルで特許および商標条項を確認します。リポジトリ ライセンスは、リリースされたソースと Grok-1 の重みに適用されます。アプリケーション データ、サードパーティ ライブラリ、コミュニティ変換、微調整データセット、生成されたブランド、またはダウンストリーム システムによって取得されたコンテンツに対して自動的にライセンスを付与することはありません。

組織はまた、許容可能な使用ルール、評価の所有権、インシデント対応、モデルカードの文書化、および安全でないデータや不正な微調整データを削除するプロセスを定義する必要があります。モデルが外部に公開されている場合は、ユーザーに関連する制限を公開します。これは古い生のベース チェックポイントであり、固有の最新データ アクセスがなく、不正確または有害なテキストが生成される可能性があり、アプリケーション レベルの安全対策に依存します。

よくある質問

Grok-1 はオープンソースですか?

xAI は、Apache 2.0 での Grok-1 重みとリポジトリ コードをリリースしました。このリリースには完全なトレーニング データセットやトレーニング パイプラインが含まれていないため、「オープン ウェイト」という方がより明確な説明になります。正確な範囲については、リポジトリのライセンスを確認してください。

Grok-1 は通常の PC 上で実行できますか?

公式リファレンスパス経由ではありません。 314B チェックポイントは非常に大きなメモリを必要とするため、リポジトリはそのサンプル MoE 実装が効率的ではないことを警告します。コミュニティの量子化またはオフロードは要件を軽減する可能性がありますが、パフォーマンスと忠実度に大きなトレードオフが発生します。

Grok-1 は現在 grok.com で使用されているモデルですか?

いいえ。 Grok-1 は、過去にリリースされたチェックポイントです。現在の xAI ドキュメントでは、新しい Grok 世代とより広範なホスト製品を特定しています。

Grok-1 にはリアルタイム X データが含まれますか?

いいえ。ダウンロードされたチェックポイントには、X、Web 検索、または現在のイベントへの自動接続はありません。取得とデータ アクセスは、適切な権限を使用して個別に構築する必要があります。

Grok-1 命令は調整されていますか?

xAI では、ダイアログや他の特定のアプリケーション向けに微調整されていない、事前トレーニング後の生の基本モデルとしてのリリースについて説明します。

スタートアップは Grok-1 を自己ホストする必要がありますか?

明確な研究またはインフラストラクチャの理由と適切なハードウェアがある場合のみ。ほとんどの製品チームは、Grok-1 の運用負担を受け入れる前に、新しい小規模なオープン モデルとホストされた API のベンチマークを行う必要があります。

公式情報源

最終レビュー日は 2026 年 7 月 25 日です。Grok-1 仕様は 2024 年の無差別級リリースを参照しています。現在の Grok モデル、製品機能、プラン、API の可用性は個別に確認する必要があります。

Ready to try Grok-1?

Visit the official website to get started

Visit Grok-1

Quick Info

Added
1/21/2026
Published
1/21/2026
Updated
7/25/2026

Share This Tool

Have an AI tool to share?

Submit it to AI Dreamhub

Get your product in front of people actively exploring AI tools.

Submit Your Tool

Related Tools

DeepSeek-R1

DeepSeek-R1

DeepSeek's first-generation reasoning models. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning without supervised fine-tuning, demonstrated remarkable performance on reasoning. - スマートな AI ツールで生産性を向上。

open-source-llmfree
570
DeepSeek-V3

DeepSeek-V3

A strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. - スマートな AI ツールで生産性を向上。

open-source-llmfree
580
Qwen3

Qwen3

Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud. - スマートな AI ツールで生産性を向上。

open-source-llmfree
620
Llama 3

Llama 3

Llama3 is a large language model developed by Meta AI. It is the successor to Meta's Llama2 language model. - スマートな AI ツールで生産性を向上。

open-source-llmfree
590