Przejdź do treści
Biblioteka skilli
AI i agenci · Automatyzacja

codex-computer-use

/codex-computer-use

Steruje natywną aplikacją na Macu w tle, odczytując jej dostępność, robiąc zrzuty i wykonując kliknięcia, pisanie oraz przewijanie.

Licencja
MIT
Ostatnia zmiana repozytorium
30.10.2026

Ocena i bezpieczeństwo

95/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść30 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
4
Skrypty
2
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 30.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co sprawdzić przed instalacją
  • 2 skrypty w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.

Skrypty: scripts/launch.mjs, scripts/session-approvals.mjs

Co robi i kiedy

Steruje natywną aplikacją na Macu w tle, odczytując jej dostępność, robiąc zrzuty i wykonując kliknięcia, pisanie oraz przewijanie.

Oryginalny opis (EN)

Use the installed official OpenAI macOS Computer Use runtime from Pi to inspect native app accessibility state, capture screenshots, and perform background clicks, typing, and scrolling. Use when the user requests Codex Computer Use or background interaction with a native Mac app. Websites use a separately configured browser.

Jak działa

  1. Start with one observation
  2. Operate from current state
  3. Consent
  4. Websites and limitations
Sekcje z nagłówków SKILL.md, w oryginale · 61 linii, 609 słów
Podgląd SKILL.md
---
name: codex-computer-use
description: Use the installed official OpenAI macOS Computer Use runtime from Pi to inspect native app accessibility state, capture screenshots, and perform background clicks, typing, and scrolling. Use when the user requests Codex Computer Use or background interaction with a native Mac app. Websites use a separately configured browser.
license: MIT
compatibility: macOS, legitimately installed signed OpenAI Computer Use runtime, Node.js 22+, and a stdio MCP host with form elicitation support.
---

# Codex Computer Use

Use the `codex_computer_use` MCP server backed by this skill's `scripts/launch.mjs`. Discover the exact JavaScript execution and reset tool names exposed by the host; some hosts expose `codex_computer_use_js` and `codex_computer_use_js_reset` directly. This skill supplies instructions and a bridge, not its own desktop backend. The official signed runtime must already be installed and authenticated.

If the server is missing, explain the setup requirement. Do not install a desktop driver, modify native authentication or app policy, or substitute a foreground automation tool. For setup and consent details, read [references/integration.md](references/integration.md).

## Start with one observation

On the first invocation in a fresh or reset CUA session, execute exactly one entry call, optionally assigning its result. Do not include another API call, logging, waiting, or a snapshot in that invocation. Read the documentation and initial state returned by the tool before continuing.

For an app named by the user, use its name or bundle ID:

```javascript
var app = await cua.getApp("<bundle-id>");
```

For an inventory:

```javascript
await cua.getState();
```

These are alternatives. Never run both in the first invocation. Use only APIs documented by the installed runtime. Do not invent methods from another automation library.

## Operate from current state

Read the current accessibility state before choosing action targets. Prefer element identifiers from that state, and observe again after an action before choosing the next target. Use screenshot coordinates only when necessary and supported by the returned API documentation.

The following are individual examples to check against the runtime's returned documentation, not a sequence to execute blindly:

```javascript
await app.getAXState();
await app.getAXStateAndScreenshot();
await app.click(42);
await app.setValue(42, "example");
await app.typeText("example");
await app.pressKey("super+w");
await app.scroll(42, "down", 1);
```

Prefer background accessibility operations. Do not activate apps, move the physical mouse, or switch to foreground automation as a fallback. If an app does not expose the needed state or action, report the specific obstruction.

Confirm the active window or document title before closing a tab or applying document-specific changes. A background document may not be reachable through the exposed window API. Stop and inspect save prompts or unexpected dialogs. Newlines in typed text can submit forms or send messages; follow the user's authorization and the observed UI state.

Report success only after observing the requested result. A launch, file-open request, or tool call completing is not by itself proof of the app's final state.

## Consent

Let the host present genuine app-access forms. The bridge caches accepted forms by app, risk level, and warning. Default acceptance uses `always` only if the runtime offers it; explicit `session` stays within this connection. High and critical risk never persist. `CUA_ALWAYS_ALLOW=off` disables persistent grant reads and writes.

Persistent records live in local user state, by default `$HOME/.local/state/codex-computer-use/approved.json`. Never claim that grants exist only in memory. Changed risk or warning asks again for normal grants. The `allow` CLI command is broader explicit local preauthorization, not an answer to a runtime consent prompt; do not invoke it merely to avoid asking the user.

Declines, cancellations, and unrelated forms do not grant access. Native authentication and `getAppPolicy` remain enforced; cached consent cannot lift `denied` or `forbidden` policy. Revoking a local record cannot guarantee revocation of a grant already cached by the native service or the current connection.

## Websites and limitations

This launcher enables only the `computer` surface. Use a separately configured isolated browser for websites and web debugging. No browser tool or driver is bundled here.

Treat available windows, tabs, screenshots, input methods, and sandbox file access as runtime- and app-specific. Inspect returned documentation and current state instead of assuming support from another installation. Use ordinary authorized file tools outside the CUA sandbox when the task requires file editing.
Pliki w paczce (4)
  • SKILL.md 5 KB
  • references/integration.md 4 KB
  • scripts/launch.mjs 4 KB
  • scripts/session-approvals.mjs 13 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · RUIIIOVO/codex-computer-use95MIT
starpia-forge/codex-delegate100MIT
PracticalSwan/agent-skills100MIT

Migawka bazy z 13.11.2026 · wersja paczki f5d1e4d24726 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100host-computer-use
    Steruje komputerem hosta przez podłączony A0 CLI: zrzuty ekranu, inspekcja ekranu, menu, interfejs natywnych aplikacji, klikanie, przewijanie i pisanie na poziomie systemu (beta).
  • 100computer-use
    Obsługuje lokalne okna aplikacji desktopowych przez CLI computer-use Orca: drzewa dostępności, zrzuty ekranu, listowanie okien, odczyt interfejsu, klikanie, pisanie, przewijanie, przeciąganie i akcje dostępności.
  • 100computer-use
    Steruje interfejsem graficznym widocznego okna lokalnej aplikacji przez orca computer: drzewo dostępności, kliknięcia, pisanie, menu, dialogi i zrzuty ekranu.
  • 100computer-use
    Przekazuje zadanie w interfejsie graficznym na tym Macu (klikanie, pisanie, czytanie okna) do Codex Computer Use jako ograniczone podzadania i zwraca wynik sprawdzony względem tego, co faktycznie się stało.
  • 100computer-use
    Steruje interfejsem graficznym widocznego okna lokalnej aplikacji przez manta computer: drzewo dostępności, kliknięcia, pisanie, menu, dialogi i zrzuty ekranu.
  • 90driving-agent-desktop
    Steruje pulpitem macOS przez narzędzia computer use: zrzuty ekranu, kliknięcia, pisanie i przewijanie, bez przeszkadzania człowiekowi.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.