Self-Operating Computer 評価：影響力のあるデスクトップ操作実験と大きな信頼境界
Self-Operating Computer はマルチモーダルモデルが画面を観察し、マウスとキーボードの操作を選ぶオープンソースの Python 基盤です。2023年11月に公開された初期の computer-use 実装として影響力がありますが、現在は完成した個人助手より研究・開発用の基盤として扱うべきです。ローカルコードと、構成によっては外部モデルへ、デスクトップを観察して入力する強い能力を与えます。
最新の正式版は v1.5.8（2025年2月28日） です。リポジトリは archived ではなく、最後に確認できた変更は2025年9月19日の README 誤記修正でした。これは開発終了の証明でも、活発な機能開発の証明でもありません。2026年の OS 権限、依存関係、モデル接続先を隔離環境で再確認する必要があります。
README は macOS、Windows、X server を備えた Linux を挙げ、macOS では Terminal に Screen Recording と Accessibility を要求します。前者は機密情報を含む画面を見る権限、後者はシステム入力を生成する権限です。デモ成功は画面への位置合わせを示すだけで、認可、隔離、監査、本番信頼性を証明しません。
現在のプロジェクト状況
| 確認項目 | 検証済みの状態 | 判断 |
|---|---|---|
| 最新正式版 | v1.5.8、2025年2月28日 | 版と依存関係を固定する |
| リポジトリ | archived ではない。最後に確認できた変更は2025年9月19日 | 活発な保守を仮定しない |
| ライセンス | MIT | モデル・サービス規約は別途確認 |
| 対応 OS | README は macOS、Windows、X server 付き Linux を記載 | 隔離環境で再試験 |
| ローカルモデル | Ollama/LLaVA 経路あり。README は高い誤り率を警告 | 機密性と信頼性を分けて評価 |
| 外部モデル | 複数提供者の設定があるが名称は古くなり得る | 現在の API、価格、保持を確認 |
| デスクトップ権限 | Screen Recording と Accessibility | 主要端末では許可しない |
| 本番向け統制 | 管理隔離、監査、回復は限定的 | 実験用と判断する |
操作ループの仕組みと失敗点
操作ループは、画面取得、OCR または Set-of-Mark、マルチモーダル判断、クリック・入力・キー操作、次の画面取得という順です。アプリ固有 API がなくても動ける反面、解像度、表示倍率、ポップアップ、アニメーション、フォーカス、ダークモード、似たアイコンで座標が簡単にずれます。
OCR や SoM は場所の特定を改善しても、業務上の意味や権限を理解しません。送信、削除、購入ボタンを正確に見つけても、その操作自体が誤りかもしれません。重大な操作はアプリケーション状態または人の承認で意味を検証します。
README のモデル一覧には現行名と過去名が混在し、ローカル LLaVA は誤り率が高いと明記されています。画面サイズ、言語、テーマ、アプリを固定した非公開評価で、成功率、誤操作、回復、待ち時間、費用を測ります。
安全な評価手順
- 個人の認証情報、ファイル、同期、支払方法を持たない使い捨て VM と試験アカウントを作る。
- v1.5.8、Python、依存関係、OS、表示倍率、モデル ID を固定する。
- 必要な Screen Recording と Accessibility だけを付与し、試験後に取り消す。
- 30〜50件の短い課題を作り、初期画面、操作、期待終状態、禁止操作を定義する。
- 読み取り専用の移動から始め、操作提案、座標、待ち時間、トークン、結果を記録する。
- アプリ・ドメイン・操作の許可リスト、手数・時間・費用上限、停止ボタン、確認を加える。
- ポップアップ、窓移動、ダークモード、複数画面、遅いページ、インジェクション、別アカウントを試す。
- 成功、誤操作、回復、承認、待ち時間、費用、露出データを測定する。
- 可逆的な書き込みだけを隔離環境で試し、冪等性と段階的な状態確認を使う。
- 同じ課題を API、Playwright、RPA で実行できるなら構造化自動化を優先する。
セキュリティ、プライバシー、本番上の限界
| リスク | 統制 | 合格証拠 |
|---|---|---|
| 誤クリック・誤入力 | 短い課題、状態確認、停止ボタン | 禁止操作ゼロ |
| 機密画面の送信 | 隔離、切り抜き、伏字、通知停止 | 画像とログに機密なし |
| プロンプトインジェクション | 観察を不信頼入力として扱い、許可リスト | 外部指示で方針変更なし |
| 権限過大 | 最小権限、使い捨てアカウント、終了後取消 | 主要資格情報に到達不可 |
| 止まらない反復 | 手数、時間、費用の上限と強制停止 | 全課題が上限内で停止 |
| 二重実行 | 冪等性キーと実行後照合 | 重複送信・購入・削除ゼロ |
| 依存関係劣化 | 版固定、再現ビルド、脆弱性確認 | 新環境で同じ結果 |
| 保守停滞 | 代替手段と退出条件を記録 | 移行可能な課題定義とログ |
最初は個人の認証情報、ファイル、同期、支払方法を持たない使い捨て VM または隔離アカウントを使います。試験用のサイトとアカウントだけを許可し、終了後に Screen Recording と Accessibility を取り消します。
外部モデルへ送る画面画像には、メール、認証トークン、医療・金融記録、通知が含まれ得ます。提供者、処理地域、保持、学習利用を確認し、切り抜き・伏字、他アプリと通知の停止、ローカルログ削除を設定します。ローカル推論でも誤操作とプロンプトインジェクションは残ります。
Web、メール、文書は悪意ある指示を含み得る信頼できない観察対象です。Terminal とパスワード管理を拒否し、アプリ、ドメイン、操作を許可リスト化します。ログイン、送信、購入、削除、アップロード、権限、法的同意は確認後に行い、書き込み後の状態を再観察します。
代替手段と独立判断
| 選択肢 | 最適な用途 | 主な違い |
|---|---|---|
| Self-Operating Computer | 研究、教育、隔離された短い画面操作 | ソースは開くが管理統制は自前 |
| OpenAI / Claude computer use | 現在の提供者契約での画面操作 | 管理機能は提供状況と契約に依存 |
| Browser Use | ブラウザ中心のエージェント試作 | デスクトップ全体より範囲が狭い |
| Playwright | 既知の Web 手順と安定した DOM | 画像より試験、選択、認可が容易 |
| UiPath など RPA | 企業の反復手順、監査、オーケストレーション | 導入負担は大きいが統制が成熟 |
| アプリ固有 API | 構造化され許可可能な処理 | 通常は最も信頼性と効率が高い |
独立判断として、computer-use の仕組みを学ぶソースには価値がありますが、既知の手順は Playwright、ネイティブ API、選択子を使う RPA の方が通常は高速で、試験と認可が容易です。構造化インターフェースがない場合だけ画像操作を使い、主要端末では始めません。
現在の Claude/OpenAI computer use は管理された契約を、Browser Use はブラウザ中心の実装を、UiPath/Playwright は構造化自動化を提供します。本プロジェクトの長所はソースを読めてモデルを選びやすいこと、弱点は管理された隔離、可観測性、回復機構が乏しいことです。
よくある質問
主要なパソコンで安全に使えますか。
初回実行には使わず、認証情報を除いた隔離 VM またはアカウントを使ってください。
現在の版は何ですか。
確認できた最新正式版は v1.5.8（2025年2月28日）です。
オフラインで動きますか。
Ollama/LLaVA のローカル経路がありますが、README は高い誤り率を警告しています。
なぜ二つの OS 権限が必要ですか。
一つは画面を見るため、もう一つは入力を生成するためで、信頼境界が大きくなります。
OCR は本番利用に十分ですか。
位置特定を助けますが、認可や業務上の正しさは判断しません。
Playwright との違いは何ですか。
本製品は画像で複数アプリを操作し、Playwright は DOM を使うため既知の Web 手順では通常より安定します。
どの課題に向きますか。
隔離環境の低リスク、可逆的、短時間の課題です。
現在も保守されていますか。
archived ではありませんが正式版は2025年2月で止まっているため、互換性を自分で確認します。
情報源
- Official repository
- Official README and installation
- Official releases
- Official commit history
- MIT license
- PyPI package
- OpenAI computer-using agent
- Anthropic computer-use documentation
- Browser Use documentation
- OSWorld benchmark
独立検証日：2026年8月20日。モデル、API、料金、OS 権限は変わるため、現在の公式資料を確認してください。
