Grok-1 xAI이 2024년 3월에 공개 가중치 및 예제 JAX 코드와 함께 출시한 3,140억 개의 매개변수 혼합 전문가 기본 모델입니다. 이는 현재 Grok 소비자 도우미나 모든 현재 xAI API 기능 뒤에 있는 모델이 아니라 연구원 및 인프라 팀을 위한 역사적인 모델 릴리스입니다. 2026년 6월 현재 xAI의 현재 Grok 제품 문서에는 Grok 4.5이 소개되어 있으며 해당 제품에는 Grok-1 체크포인트에 없었던 채팅, 파일, 음성, 커넥터, 이미지 및 비디오 생성 및 기타 서비스도 포함되어 있습니다.
이 구별은 페이지에서 가장 중요한 사실입니다. Grok-1을 다운로드하면 xAI이 대화나 다른 특정 애플리케이션에 맞게 미세 조정되지 않았다고 말하는 원시 사전 훈련 체크포인트가 제공됩니다. grok.com, live X 지식, 현재 에이전트 도구, Grok Imagine, 안전 시스템, 호스팅 또는 최신 독점 모델의 동작을 재현하지 않습니다.
Grok-1 기술 사양
| 사양 | 공식 Grok-1 릴리스 | 실용적인 의미 |
|---|---|---|
| 모델 유형 | 원시 기본 언어 모델 | 사용자 대면 배포 전에 작업 적응, 프롬프트, 평가 및 안전 작업이 필요합니다. |
| 총 매개변수 | 314B | 체크포인트 스토리지 및 메모리 요구 사항은 일반적인 워크스테이션을 훨씬 뛰어넘습니다. |
| 건축 | 8명의 전문가가 혼합되어 있습니다. | 라우터는 각 토큰에 대해 전문가 피드포워드 경로의 하위 집합을 선택합니다. |
| 토큰당 사용되는 전문가 | 2, 활성 중량의 약 25% | 활성 컴퓨팅은 밀도가 높은 314B 모델보다 낮지만 모든 가중치에는 여전히 적절한 스토리지 및 서비스 전략이 필요합니다. |
| 레이어 | 64 | 상당한 분산 추론 요구 사항을 갖춘 심층 변압기 스택 |
| 주의 | 쿼리 헤드 48개, 키/값 헤드 8개 | 그룹화된 키/값 헤드는 주의 메모리 비용의 일부를 줄입니다. |
| 임베딩 크기 | 6,144 | 큰 숨겨진 표현은 모델 메모리 및 계산에 기여합니다. |
| 토크나이저 | SentencePiece, 131,072개 토큰 어휘 | 애플리케이션은 호환되는 토큰 ID를 위해 출시된 토크나이저를 사용해야 합니다. |
| 최대 시퀀스 길이 | 토큰 8,192개 | 많은 최신 장기 컨텍스트 모델 제품보다 훨씬 짧습니다. |
| 참조 스택 | JAX 예시 코드; 활성화 샤딩 및 8비트 양자화 지원 | 저장소는 최적화된 프로덕션 서버가 아닌 정확성을 보여줍니다. |
| 라이센스 | 저장소 소스 및 Grok-1 가중치를 위한 Apache 라이센스 2.0 | 정확한 라이선스 범위와 모든 타사 종속성, 다운스트림 사용 의무를 검토하세요. |
오픈 웨이트가 바로 실행 가능하다는 의미는 아닙니다.
xAI의 저장소는 포함된 전문가 혼합 구현이 비효율적이며 사용자 정의 커널 없이 모델 정확성을 검증하기 위해 선택되었음을 명시적으로 경고합니다. 참조 경로는 314B 체크포인트에 충분한 GPU 메모리를 갖춘 머신을 기대합니다. 8비트 가중치를 사용하더라도 원시 가중치 저장소만 런타임 오버헤드, 캐시, 프레임워크 버퍼, 복제 및 중복 이전에 수백 기가바이트 정도입니다. 낮은 비트 커뮤니티 변환은 메모리를 줄일 수 있지만 정확도가 변경될 수 있으며 xAI의 공식 체크포인트와 동일한 아티팩트가 아닙니다.
심각한 배포에는 호환 가능한 체크포인트 형식, 샤딩 계획, 최적화된 MoE 커널, 가속기 토폴로지, 모델 서버, 토크나이저 서비스, 일괄 처리 정책, 키/값 캐시 전략, 모니터링 및 복구가 필요합니다. 상호 연결 트래픽과 개별 GPU 사용률을 측정합니다. 장치 전반에 걸친 전문가 라우팅으로 인해 통신이 병목 현상으로 바뀔 수 있습니다.
Grok-1 대 현재 Grok 제품
| 능력 | Grok-1 개방형 체크포인트 | 현재 Grok 제품/API |
|---|---|---|
| 목적 | 2023년 기본 모델을 사용한 연구 및 자체 호스팅 실험 | 현재 어시스턴트 및 개발자 서비스 |
| 대화 행동 | 출시된 체크포인트에서는 지시나 대화가 미세 조정되지 않았습니다. | 제품별 사후 교육, 프롬프트, 도구 및 보호 장치 |
| 현재정보 | 내장된 실시간 검색 또는 X 액세스가 없습니다. | 표면에 따라 현재 검색, X 컨텍스트, 커넥터 또는 에이전트 도구가 포함될 수 있습니다. |
| 다중 양식 | 텍스트 베이스 모델로 출시 | 현재 제품 문서 파일, 음성, 이미지, 비디오 및 Grok Imagine 기능 |
| 운영 | 하드웨어, 제공, 확장, 보안, 모니터링을 제공합니다. | xAI은 계획, 한도, 조건 및 가용성에 따라 호스팅 서비스를 운영합니다. |
| 모델 생성 | Grok-1 | 최신 모델 제품군; 현재 문서에서는 Grok 4.5을 식별합니다. |
Grok-1이 여전히 의미가 있는 경우
- 환경부 연구: 대규모로 출시된 전문가 혼합 아키텍처, 라우팅 동작, 샤딩 및 추론 최적화를 검사합니다.
- 생식 연구: 공식 체크포인트 및 참조 구현을 커뮤니티 런타임 또는 변환과 비교하세요.
- 역사적 평가: 통제된 벤치마크 하에서 주요 2023년 사전 학습 체크포인트가 이후 공개 모델과 비교하여 어떻게 작동하는지 연구합니다.
- 인프라 실험: 적절한 하드웨어가 이미 존재하는 경우 분산 로딩, 양자화, 전문가 배치 및 서비스 시스템을 테스트합니다.
이는 일반적으로 유능한 자체 호스팅 도우미가 필요한 새 애플리케이션의 경우 기본값이 좋지 않습니다. 더 새롭고 더 작은 개방형 모델은 더 강력한 지침 따르기, 더 긴 맥락, 다중 양식, 더 쉬운 서비스, 더 나은 도구 사용 및 더 낮은 총 비용을 제공할 수 있습니다. 관련 비교는 총 매개변수 수가 아닌 하드웨어 및 엔지니어링 노력 단위당 허용되는 작업 성능입니다.
배포 결정 체크리스트
- 연구 또는 제품 이유를 정의합니다. 새로운 밀도 모델이나 MoE 모델이 아닌 Grok-1이 필요한 이유를 설명하세요.
- 전체 설치 공간을 추정합니다. 다운로드한 체크포인트, 변환된 복사본, 메모리, 키/값 캐시, 임시 저장소, 복제본 및 백업을 포함합니다.
- 제공 구현을 선택하세요. 정확한 아키텍처, 토크나이저, 양자화, 전문가 라우팅 및 대상 하드웨어를 지원하는지 확인하십시오.
- 변환을 검증합니다. 변환된 체크포인트를 신뢰하기 전에 공식 참조와 로지트 또는 고정 평가 모음을 비교하십시오.
- 사후 훈련 또는 통제를 추가합니다. 원시 기본 모델은 안전한 채팅 도우미가 아닙니다. 의도된 용도에 맞게 프롬프트, 미세 조정, 조정 및 거부 행동을 정의합니다.
- 끝까지 벤치마킹하세요. 로드 시간, 초당 토큰, 첫 번째 토큰까지의 시간, 배치 처리량, 메모리, 통신 오버헤드, 전력, 실패율 및 출력 품질을 기록합니다.
- 서비스를 확보하세요. 요청을 인증하고, 모델 작업자를 격리하고, 입력 길이와 동시성을 제한하고, 로그를 보호하고, 관리 엔드포인트에 대한 신뢰할 수 없는 액세스를 차단합니다.
비교할 대안
| 대체 경로 | 왜 비교하는가? | 결정기준 |
|---|---|---|
| 최신 개방형 밀도 모델 | 더 간단한 제공 및 강력한 지침 조정 변형 | 동일한 하드웨어 예산으로 품질 및 처리량 |
| 최신 개방형 MoE 모델 | 새로운 기능으로 희소 컴퓨팅 연구 가치 유지 | 커널 지원, 활성 매개변수, 컨텍스트, 라이선스 및 생태계 |
| xAI 호스팅됨 API | 314B 체크포인트를 작동하지 않고 현재 Grok 모델에 액세스 | 작업 성공, 데이터 조건, 지역적 가용성, 대기 시간 및 비용 |
| 기타 호스팅 국경 API | 광범위한 공급자 및 거버넌스 비교 | 허용되는 결과 비용, 도구, 컨텍스트, 안전, 지원 및 전환 위험 |
| 검색과 더 작은 모델 | 승인된 데이터를 기반으로 한 더 작은 모델은 좁은 작업에서 큰 기본 모델보다 성능이 뛰어날 수 있습니다. | 증거의 정확성, 대기 시간, 유지 관리 가능성 및 총 인프라 비용 |
평가 지표
- 작업 성공: 사람의 검토 후 승인된 대표 작업의 비율입니다.
- 서빙 효율성: 유용한 배치 크기에서 가속기 및 와트당 초당 토큰을 출력합니다.
- 첫 번째 토큰까지의 시간: 라우팅 및 미리 채우기를 포함하여 큐잉 후 대화형 지연.
- 양자화 후 품질: 작업 지표 및 실패 패턴과 기준 정밀도의 변화.
- 총 비용: 하드웨어, 전원, 스토리지, 네트워킹, 엔지니어링, 가동 중지 시간 및 승인된 결과에 따른 검토.
- 안전 행동: 의도한 애플리케이션에 대한 유해한 완료, 데이터 유출, 신속한 주입 및 정책 실패율을 확인합니다.
변환되거나 양자화된 체크포인트를 검증하는 방법
대부분의 팀은 원래 JAX 체크포인트를 직접 제공하지 않습니다. 변환은 텐서 순서를 변경하고, 전문가 라우팅을 변경하고, 토크나이저 파일을 변경하고, 다른 수치 정밀도를 선택하거나, 런타임별 커널을 도입할 수 있습니다. 하나의 그럴듯한 완성을 읽음으로써 그것을 검증하지 마십시오. 파일 매니페스트와 해시로 시작하고, 텐서 이름과 모양을 확인하고, 결정적인 토큰 ID 세트와 다음 토큰 로짓을 툴체인에서 허용하는 선택된 레이어 또는 최종 출력의 공식 참조와 비교합니다.
그런 다음 의도한 시퀀스 길이와 배치 크기로 고정 평가 세트를 실행합니다. 당혹감이나 작업 정확도, 수치 드리프트, 전문가 선택, 반복, 출력 잘림, 언어 동작 및 긴 프롬프트에서의 실패를 비교합니다. 변환 스크립트 커밋, 소스 체크포인트 해시, 양자화 방법, 교정 데이터, 런타임 버전, 커널 플래그 및 하드웨어를 기록합니다. 커뮤니티 파일을 xAI 릴리스와 상호 교환할 수 없는 자체 출처가 있는 별도의 빌드 아티팩트로 취급합니다.
라이선스 및 거버넌스 검토
Apache 2.0은 허용적이지만 모든 배포 질문에 대답하지는 않습니다. 실제 배포 모델을 사용하여 필수 공지 사항을 보존하고, 수정 사항을 문서화하고, 특허 및 상표 조항을 검토하세요. 저장소 라이센스는 릴리스된 소스 및 Grok-1 가중치에 적용됩니다. 애플리케이션 데이터, 타사 라이브러리, 커뮤니티 변환, 미세 조정 데이터 세트, 생성된 브랜딩 또는 다운스트림 시스템에서 검색한 콘텐츠에 대한 라이선스는 자동으로 부여되지 않습니다.
또한 조직은 허용 가능한 사용 규칙, 평가 소유권, 사고 대응, 모델 카드 문서화, 안전하지 않거나 승인되지 않은 미세 조정 데이터를 제거하기 위한 프로세스를 정의해야 합니다. 모델이 외부에 노출되는 경우 사용자와 관련된 제한 사항을 게시합니다. 이는 오래된 원시 기본 체크포인트이고 고유한 현재 데이터 액세스 권한이 없으며 부정확하거나 유해한 텍스트를 생성할 수 있으며 애플리케이션 수준 보호 장치에 따라 달라집니다.
자주 묻는 질문
Grok-1은 오픈 소스인가요?
xAI은 Apache 2.0에서 Grok-1 가중치 및 저장소 코드를 출시했습니다. 릴리스에는 전체 훈련 데이터 세트 또는 훈련 파이프라인이 포함되어 있지 않기 때문에 "개방형 가중치"가 더 명확한 설명입니다. 정확한 범위는 저장소 라이센스를 검토하세요.
Grok-1을 일반 PC에서 실행할 수 있나요?
공식 참조 경로를 통하지 않습니다. 314B 체크포인트에는 매우 큰 메모리가 필요하며 저장소에서는 해당 예제 MoE 구현이 효율적이지 않다고 경고합니다. 커뮤니티 양자화 또는 오프로딩은 요구 사항을 줄일 수 있지만 주요 성능 및 충실도 절충안을 도입합니다.
Grok-1이 현재 grok.com에서 사용되는 모델인가요?
아니요. Grok-1은 이전에 출시된 체크포인트입니다. 현재 xAI 문서에서는 최신 Grok 세대와 훨씬 더 광범위한 호스팅 제품을 식별합니다.
Grok-1에는 실시간 X 데이터가 포함되어 있나요?
아니요. 다운로드한 체크포인트는 X, 웹 검색 또는 현재 이벤트에 자동으로 연결되지 않습니다. 검색 및 데이터 액세스는 적절한 권한을 통해 별도로 구축되어야 합니다.
Grok-1 명령이 조정되었습니까?
xAI은 릴리스를 대화나 다른 특정 애플리케이션에 맞게 미세 조정되지 않은 사전 학습 후의 원시 기본 모델로 설명합니다.
스타트업 자체 호스트가 Grok-1이어야 합니까?
명확한 연구 또는 인프라 이유와 적합한 하드웨어가 있어야만 가능합니다. 대부분의 제품 팀은 Grok-1의 운영 부담을 수용하기 전에 최신 소형 개방형 모델을 벤치마킹하고 API을 호스팅해야 합니다.
공식 출처
- xAI: Grok-1의 공개 릴리스
- 공식 xai-org/grok-1 저장소 및 모델 사양
- Grok-1 Apache 2.0 라이센스 텍스트
- 현재 Grok 제품 개요
- 원본 Grok 및 Grok-1 발표
- 공식 xAI API 요리책
2026년 7월 25일에 마지막으로 검토되었습니다. Grok-1 사양은 2024년 개방형 릴리스를 참조합니다. 현재 Grok 모델, 제품 기능, 계획 및 API 가용성은 별도로 확인해야 합니다.