Awesome ChatGPT Prompts 평가: 발견에는 뛰어나지만 운영 성능을 보장하지 않는다
Awesome ChatGPT Prompts는 2022년 12월 GitHub 프롬프트 목록으로 시작했다. 정식 저장소는 f/prompts.chat으로 이름이 바뀌었고 이전 URL은 리디렉션되며 README는 formerly known as Awesome ChatGPT Prompts라고 명시한다. 현재 CC0 PROMPTS.md/prompts.csv, 공개 커뮤니티, MIT Next.js 자체 호스팅 앱, CLI, MCP와 플러그인을 포함한다. OpenAI 제품이나 ChatGPT 기본 기능은 아니다.
검토 시점 유지보수는 활발하다. GitHub API는 archived가 아니며 2026년 8월 20일에도 push가 있었다고 표시했다. 그렇다고 prompt 데이터에 안정적 의미 버전이 있는 것은 아니다. package.json의 private 0.1.0은 내부 앱 패키지이지 공개 정식판이 아니다. 도입할 때 commit을 고정하고 모델과 평가 날짜를 따로 기록한다.
역할, 구조, 변수와 커뮤니티 변형을 찾는 데 뛰어나지만 Terms는 특정 결과를 보장하지 않는다고 말한다. 모델 버전, system 지시, 대화 기록, 도구, 검색 문맥, 생성 설정, 안전 정책과 입력 데이터가 결과를 바꾼다. 인기와 멋진 문장은 운영 증거가 아니다.
현재 프로젝트의 범위
| 계층 | 내용 | 판단 경계 |
|---|---|---|
| Prompt 데이터 | PROMPTS.md, prompts.csv, 미러 | CC0, commit 고정·개별 검토 |
| 공개 prompts.chat | 검색, 계정, 저장, 제출, 분석 | 약관·개인정보, 제출 공개 |
| 자체 호스팅 앱 | MIT 코드, DB, 인증, 저장 | 인증, 비밀, 백업, 업데이트 직접 운영 |
| 책·학습 내용 | 대화형 기법 설명 | MIT 교육 자료, benchmark 아님 |
| CLI/MCP/플러그인 | AI 흐름 안에서 prompt 검색 | 공급망·도구 권한 확대 |
| 커뮤니티 prompt | 다른 사람의 불신 지시 | 고권한에 넣기 전 정제 |
| 생성 출력 | prompt·문맥의 응답 | 정확성 보장 없음, 별도 평가 |
| 제3자 제품 | 비슷한 이름의 확장·강좌·상점 | 자동으로 f/prompts.chat 아님 |
Prompt 복사는 시작일 뿐이다
먼저 일을 정의한다. 사용자, 입력 계약, 출력 schema, 허용 근거, 금지 행동, 성공 지표를 쓴 뒤 prompts.chat에서 구조를 찾는다. 가장 작은 유용 부분만 남기고 모호한 역할극을 명시 제약으로 바꾸며 실제 고객 데이터는 형식 변수로 바꾼다.
커뮤니티 prompt는 불신 입력이다. 정책 무시, system 지시 공개, 도구 호출, 임의 URL, 데이터 유출, 위험 주장 요구가 포함될 수 있다. 글자 자체는 실행되지 않지만 고권한 메시지나 인증 Agent에 들어가면 강해진다. 지시 계층을 검토하고 숨은 목적을 제거해 인젝션 시험을 통과시킨다.
운영 prompt는 문단 하나가 아니라 템플릿, 변수 schema, 예시, 모델·버전, 도구 권한, 검색 정책, 출력 검증, 평가 집합, 소유자, 변경 기록, 출처·라이선스, 비용·지연 예산, 롤백의 묶음이다. 없으면 모델 변화와 문맥·도구·데이터 실패를 구분할 수 없다.
평가 중심 도입 절차
- 제한 과제와 입출력 schema, 출처, 금지, 성공을 정의한다.
- prompts.chat에서 구조를 찾고 URL, 작성자, 라이선스, 날짜, commit을 기록한다.
- 불신 글로 검토해 월권, secret, 임의 tool/URL, 보장을 제거한다.
- 실제 데이터를 형식 변수로 바꾸고 누락·충돌·악성 입력을 정의한다.
- 모델/버전, 문맥 순서, 설정, tool 허용, 검색, validator를 고정한다.
- 인젝션, 민감, 다국어, 긴 문맥을 포함한 30~100개 사례를 만든다.
- baseline/candidate의 정확, 형식, 근거, 안전, 비용, 지연을 비교한다.
- 결정 grader를 우선하고 제한 model grader와 블라인드 평가를 더한다.
- owner, 출처, 버전, 보고서, 한계, rollback을 저장한다.
- 저위험 canary와 가린 실패 로그를 쓰고 변경 뒤 회귀한다.
- 공개 전 영구 CC0를 확인하고 비밀·개인정보를 제거한다.
인젝션, 개인정보, 저작권과 유지 한계
| 위험 | 통제 | 승인 증거 |
|---|---|---|
| Prompt 인젝션 | 출처 검토, 계층 격리, 공격 집합 | 정책 우회·비밀·무단 tool 제로 |
| 민감정보 유출 | 변수 schema, 가림, 최소 데이터 | prompt, log, 제출에 secret/PII 없음 |
| 모델 변화 | 가능하면 고정, 변경 뒤 회귀 | 퇴행이 임계값 안 |
| 노후화 | 소유자, 검토일, 폐기 정책 | 의존·지원 모델 기록 |
| 환각 | 근거, 인용, 사람 검토 | 사실 오류율 기준 통과 |
| 형식 실패 | schema 검증과 닫힌 실패 | 기계 판독 통과율 |
| 저작권/IP | 라이선스 출처·출력 심사 | 권리 기록, 무단 복제 없음 |
| 도구 오용 | 허용, 격리, 확인, 멱등 | 무단·비가역 행동 없음 |
| 자체 호스팅 보안 | 패치, 인증, 비밀, 백업 | 복구 시험·보안 책임자 |
| 지표 편법 | 여러 grader·불일치 검토 | 사람 표본과 일치 |
공개 제출의 권리 결과는 강하다. 현재 Terms는 제출 즉시 되돌릴 수 없는 CC0로 공개되고 가능한 범위에서 저작권을 포기하며 보상과 철회가 없다고 한다. Privacy Policy는 계정을 지워도 기여 prompt가 공공 자원에서 없어지지 않는다고 한다. 비밀, 고객 자료, 사내 system 지시를 올리지 않는다.
이중 라이선스는 명확하다. 코드, 사이트 자체 내용, 책은 MIT이고 prompt 데이터는 CC0다. 하지만 예시 안의 제3자 저작물, 상표, 개인정보, 생성 출력, 복제 요구까지 자동으로 안전해지는 것은 아니다. 상업 공개 때 출처를 보존하고 출력 권리를 별도로 검토한다.
공개 사이트는 계정, 제출, 태그와 Google Analytics를 다루고 공개 prompt에는 사용자 이름이 표시된다. 자체 호스팅은 analytics를 끄고 데이터를 통제할 수 있지만 자동 보안은 아니다. 인증, DB, 저장, TLS, 비밀, 백업, 로그, 업데이트, 사고 대응은 운영자 책임이다.
MCP, CLI, 플러그인은 발견을 편하게 하지만 공급망과 도구 권한을 넓힌다. 가져온 prompt를 몰래 system 지시로 만들지 말고 출처를 보이며 사용자 확인, 최소 권한, 데이터·지시 분리, 외부 쓰기 재확인, 의존 버전 고정을 적용한다.
학습 자료, 공식 도구, 사내 라이브러리 비교
| 선택 | 적합한 용도 | 대체하지 않는 것 |
|---|---|---|
| prompts.chat | 넓은 발견, 공개 공유, 자체 호스팅 | 업무별 평가·내부 승인 |
| DAIR.AI Guide | 기법, 논문, RAG, Agent 학습 | 승인된 사내 registry |
| 공급자 playground/graders | 특정 모델 반복·측정 | 다중 모델 커뮤니티 |
| 사내 Git 라이브러리 | 버전, Code Review, 승인 | 넓은 발견 |
| 관리 플랫폼 | 실험, trace, dataset, 배포 | 분야 소유자·기준 |
| 미세조정/구조 흐름 | 반복 행동·결정 업무 | 데이터, 평가, 안전, 감시 |
DAIR.AI Guide는 기법, 논문, RAG와 Agent 학습에, 공급자 playground/graders는 특정 모델 반복과 측정에, prompts.chat은 넓은 발견에, 사내 Git/registry는 승인 자산 버전 관리에 맞는다. 서로 보완한다.
편집 판단으로 prompts.chat은 아이디어 출발점과 개방 데이터로 매우 훌륭하다. 위험은 star, like와 정교한 문구를 신뢰성으로 착각할 때 시작된다. 고객, 규제, 도구 실행 흐름에 넣기 전 대표 데이터로 근거를 만든다.
정상, 모호, 공격, 다국어, 정책 민감 평가 집합을 만들고 정확성, schema, 근거, 거부, 인젝션 저항, 비용과 지연을 비교한다. 결정 검사, 제한 rubric의 model grader, 사람 블라인드 평가를 합치고 불일치를 조사하며 의존 요소 변경 뒤 반복한다.
자주 묻는 질문
유지보수되는가?
그렇다. f/prompts.chat으로 이름이 바뀌었고 검토일 미보관, 당일 push였다. commit을 고정한다.
OpenAI 제품인가?
아니다. 여러 모델을 지원하는 독립 오픈소스다.
무료인가?
코드·데이터는 열려 있지만 모델, 호스팅, 저장은 비용이 든다.
복사하면 같은 결과인가?
아니다. 모델, 문맥, 도구, 설정과 데이터가 바꾼다.
상업 이용 가능한가?
CC0는 넓지만 제3자 권리, 상표, 개인정보, 출력을 별도 검토한다.
제출 뒤 삭제 가능한가?
되돌릴 수 없는 CC0이며 계정 삭제도 제출을 없애지 않는다.
자체 호스팅은 자동 안전인가?
아니다. 인증, 저장, 로그, 업데이트, 백업을 운영해야 한다.
인젝션 위험은?
악성 글이 고권한·도구 Agent에 들어가면 월권할 수 있다.
평가 방법은?
정상/공격 집합, 결정 검사, model grader, 사람 블라인드다.
보관 메타데이터는?
출처, owner, 변수, 모델, 도구, 보고서, 한계, 변경, rollback이다.
일차 자료
- Canonical prompts.chat GitHub repository
- Dual-license file: MIT code and CC0 prompts
- prompts.chat Terms of Service
- prompts.chat Privacy Policy
- Official self-hosting guide
- Official security policy
- Official contribution guide
- PROMPTS.md dataset view
- DAIR.AI Prompt Engineering Guide
- OpenAI Graders API reference
- OpenAI Cookbook: eval-driven system design
- OWASP LLM Prompt Injection Prevention
독립 검토일: 2026년 8월 20일. 저장소, 약관, 통합과 모델 행동은 바뀌므로 출처를 고정하고 평가를 다시 실행해야 한다.