기존 항목은 Mock-Agent-Tester라는 이름으로 github.com/mock/agent-tester를 안내했습니다. 2026-08-21 확인에서 GitHub API는 404를 반환했고, 이름이 정확히 일치하는 저장소 검색에도 결과가 없었습니다. 운영자, 패키지, 배포본, 라이선스, 문서, 보안 연락처도 이 이름과 연결할 수 없었습니다.
이전에 적혀 있던 빠른 라우팅, 확장형 스킬, Reddit 평가, Windows 지원 관련 설명은 출처를 확인할 수 없어 삭제했습니다. 외부 버튼은 공식 사이트가 아니라 GitHub 확인용 검색을 엽니다.
현재 확인할 수 있는 사실
| 확인 항목 | 결과 | 편집 결론 |
|---|---|---|
| 등록 저장소 | GitHub API 404 | 소스, 운영자, 이슈, 변경 이력을 확인할 수 없음 |
| 정확한 이름 검색 | 결과 없음 | 공식 이전 저장소를 특정할 수 없음 |
| 패키지/배포본 | 귀속 가능한 결과물 없음 | 안전한 설치 방법이나 체크섬을 제시할 수 없음 |
| 라이선스 | 확인 불가 | 사용, 수정, 재배포 권리를 추정할 수 없음 |
| 기존 기능 설명 | 근거 없음 | 라우팅, 스킬, Reddit, Windows 관련 설명 철회 |
‘미확인’이 뜻하는 범위
404만으로는 저장소가 이름을 바꿨는지, 이전됐는지, 비공개로 전환됐는지, 삭제됐는지 알 수 없습니다. 확인 가능한 결론은 현재 항목만으로 코드, 유지보수, 호환성, 라이선스를 검증할 수 없다는 것입니다.
‘미확인’은 증거 상태를 설명할 뿐 프로젝트나 작성자를 비난하는 표현이 아닙니다. 따라서 이 페이지는 설치 가능성, 기능, 호환성, 오픈소스 여부, 개발 중단, 보안 문제를 단정하지 않습니다. 공식 근거가 제시되면 다시 검토해야 합니다.
제품 리뷰를 복원하기 위해 필요한 증거
- 운영자가 관리하는 도메인 또는 조직 페이지를 제공한다.
- 공식 저장소와 운영자 귀속 관계를 제공한다.
- 라이선스와 최신 문서를 제공한다.
- 최신 배포본 또는 커밋, 설치 결과물, 체크섬을 제공한다.
- 보안 연락처와 필요한 경우 데이터 처리 조건을 제공한다.
- 재현 가능한 예제로 기능을 확인한 뒤 제품 평가를 복원한다.
지금 적용할 수 있는 Agent 테스트 기준
아래 내용은 AIDreamHub의 독립 편집 지침이며 Mock-Agent-Tester의 기능 설명이 아닙니다. Agent 테스트는 최종 답변뿐 아니라 도구 선택, 인수, 권한, 상태 변화, 실패 시 동작을 함께 확인해야 합니다.
| 영역 | 남겨야 할 증거 | 권장 방법 |
|---|---|---|
| 신원 | 운영자, 저장소, 배포본, 라이선스, 체크섬 | 코드 실행 전에 확인 |
| 도구 동작 | 선택, 인수, 권한, 부작용 | 결정적 검증 |
| 실패 처리 | 시간 초과, 잘못된 응답, 거부, 재시도, 부분 성공 | 모의 객체와 샌드박스 계약 테스트 |
| 답변 품질 | 정확성, 근거, 확인 질문, 거부 | 사람이 표시한 자료와 보정된 평가기 |
| 안전 | 프롬프트 주입, 비밀 유출, 과도한 자율성 | 최소 권한과 승인 단계 |
| 운영 | 지연, 비용, 단계 수, 재현성 | 반복 실행과 버전 관리된 기록 |
모의 객체는 실패를 재현하지만 모델 제공자, 브라우저, 네트워크, 운영 환경을 완전히 재현하지는 못합니다. 결정적 테스트에 샌드박스 계약 테스트와 소수의 보호된 종단 간 테스트를 결합합니다. LLM 평가기는 사람이 보정한 주관 평가에만 사용합니다.
공식 근거가 있는 대안
| 선택지 | 적합한 용도 | 주요 고려사항 |
|---|---|---|
| Promptfoo | 로컬/CI 프롬프트·모델 비교, 검증, 레드팀 | 제공자, 시험 자료, 평가기를 직접 관리 |
| LangSmith 평가 | 추적 자료, 오프라인/온라인 평가, 여러 평가 방식 | 호스팅 데이터 정책과 가격 검토 |
| OpenAI Hosted Evals | OpenAI 중심 자료, 기준, 비동기 실행, 보고서 | 플랫폼 의존성과 API 비용 |
| OpenAI Evals 저장소 | 공개 평가 패턴과 사용자 정의 코드 | 현재 호스팅 Evals와 사용 경로가 다름 |
| 자체 테스트 대역 | 상태, 권한, 시간, 장애, 부작용의 정밀 제어 | 개발 부담은 가장 크지만 업무 규칙에 강함 |
독립 판단: 이름만 보고 도구를 채택하거나 배제해서는 안 됩니다. 운영 Agent에는 되돌릴 수 없는 동작을 보호하는 결정적 상태 검증과, 답변 품질을 분석하는 지속 지원 평가 도구를 조합하는 방식이 적합합니다.
제한과 안전 주의사항
실행 가능한 제품을 확인하지 못했으므로 성능 수치나 사용 후기를 제공하지 않습니다. 비교표는 각 대안의 정보이며 Mock-Agent-Tester의 능력을 의미하지 않습니다.
평가 자료에는 비공개 프롬프트, 검색 문서, 고객 기록, 도구 출력이 포함될 수 있습니다. 호스팅 평가 서비스에 보내기 전에 보관 기간, 학습 이용, 지역, 하위 처리자, 접근 제어, 삭제 방식을 확인해야 합니다.
프롬프트 주입은 사용자 입력과 검색 내용 모두에서 들어올 수 있습니다. 설득력 있는 위험 문장이 생성되더라도 실제 동작은 막히도록 권한과 상태 전이를 시험합니다.
자주 묻는 질문
확인된 소프트웨어 프로젝트인가요?
현재 증거로는 확인할 수 없습니다. 2026년 8월 21일 등록 저장소는 404였고 정확한 이름의 이전 저장소도 찾지 못했습니다.
404는 프로젝트가 존재하지 않았다는 뜻인가요?
아닙니다. 현재 주소로 상태를 확인할 수 없다는 뜻입니다. 이름 변경, 이전, 비공개 전환, 삭제 가능성이 있습니다.
설치할 수 있나요?
공식 패키지나 배포본을 확인할 수 없어 설치 명령을 제공하지 않습니다.
오픈소스인가요?
알 수 없습니다. 귀속 가능한 라이선스나 공식 소스를 확인하지 못했습니다.
왜 페이지를 유지하나요?
기존 정보를 본 사용자에게 정정 내용을 보여 주고 재확인에 필요한 증거를 명확히 하기 위해서입니다.
대신 무엇을 사용할 수 있나요?
CI 비교에는 Promptfoo, 추적 기반 평가에는 LangSmith, OpenAI 중심 흐름에는 Hosted Evals, 권한과 부작용에는 자체 결정적 테스트를 고려할 수 있습니다.
확인한 출처
- 기존 항목에 등록된 저장소
- GitHub API 확인 주소
- GitHub 정확한 이름 검색
- Promptfoo 공식 평가 문서
- Promptfoo 저장소와 라이선스
- LangSmith 평가 개념
- OpenAI Hosted Evals 안내
- OpenAI Evals 저장소
- OWASP 프롬프트 주입 안내
독립 확인일: 2026-08-21. 공식 운영자나 저장소가 제시되면 상태를 다시 확인해야 합니다.
