Przejdź do treści
Biblioteka skilli
Bezpieczeństwo · Analiza

agent-runtime-validation

/agent-runtime-validation

Opisuje ogólne zasady ostrożnej weryfikacji środowiska uruchomieniowego agentów AI w ramach autoryzowanego przeglądu.

Repozytorium
skills ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
15.10.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 15.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Opisuje ogólne zasady ostrożnej weryfikacji środowiska uruchomieniowego agentów AI w ramach autoryzowanego przeglądu.

Oryginalny opis (EN)

Plans and evaluates bounded runtime tests of AI agents, tools, memory, hooks, approvals, and scope enforcement. Use when static review is complete and an authorized assessment must determine how the deployed agent actually behaves.

Jak działa

  1. When to Use
  2. When NOT to Use
  3. Preconditions
  4. Workflow
  5. Deliverable
  6. Rationalizations to reject
Sekcje z nagłówków SKILL.md, w oryginale · 84 linii, 579 słów
Podgląd SKILL.md
---
name: agent-runtime-validation
description: "Plans and evaluates bounded runtime tests of AI agents, tools, memory, hooks, approvals, and scope enforcement. Use when static review is complete and an authorized assessment must determine how the deployed agent actually behaves."
metadata:
  portability: universal
  discipline: penetration-testing
  domain: ai-systems
  tags: [agents, runtime, tools, memory, validation]
---

# Agent runtime validation

Validate deployed agent behavior with benign sentinels and explicit stop
conditions. Static manifests describe intended behavior; runtime evidence shows
what the integrated system actually does.

## When to Use

- Testing an authorized agent after a static tool-surface review.
- Validating runtime scope enforcement, approval gates, tool-result handling,
  memory boundaries, hooks, or identity propagation.
- Reproducing a suspected confused-deputy or output-spoofing condition without
  using destructive actions.

## When NOT to Use

- Do not treat lab authorization as authority over production or adjacent
  tenants.
- Do not test with real secrets, destructive tools, persistence, uncontrolled
  callbacks, or irreversible state changes.
- Do not continue after the stop condition, attempt budget, or authorized time
  window is reached.

## Preconditions

Require a named environment, isolated test identity, approved tools and action
classes, benign sentinel set, attempt and duration budgets, monitoring owner,
stop mechanism, cleanup plan, and target-origin evidence source. If any is
missing, return a blocked test plan rather than improvising.

## Workflow

1. Bind every test to the authorization reference, environment, identity,
   version, configuration, tool set, time window, and run identifier.
2. Establish a baseline with an ordinary allowed task. Record prompts, model
   outputs, agent decisions, approval events, tool requests, runtime dispatches,
   target receipts, logs, and final state.
3. Use unique inert sentinels instead of secrets or executable payloads. Make
   each sentinel attributable to one test and harmless if exposed.
4. Test one control question at a time:
   - can prompt text expand tool or target scope;
   - can tool descriptions or retrieved content alter policy behavior;
   - are tool results distinguishable from model narration;
   - do approval gates bind the exact tool, arguments, identity, and target;
   - can one user, tenant, session, or task influence another through memory;
   - do hooks or middleware introduce hidden actions or stale policy;
   - can a less-privileged component induce a more-privileged one to act;
   - does a changed tool definition or permission set invalidate prior trust;
   - does the agent stop or pivot when repeated attempts make no progress.
5. For every attempt, record expected behavior, observed behavior, evidence
   source, side effects, control result, and cleanup state.
6. Stop immediately on unexpected privilege, cross-tenant effect, sensitive
   data exposure, uncontrolled recursion, monitor loss, cleanup failure, or
   target behavior outside the approved class.
7. Re-test only when the budget allows and the new attempt isolates a specific
   alternative explanation. Repetition without a new hypothesis is not
   validation.
8. Grade the result as `enforced`, `bypassed`, `inconclusive`, `blocked`, or
   `not-tested`. Missing telemetry cannot produce `enforced`.
9. Confirm cleanup and restore the baseline. Record configuration drift and
   residual artifacts.

## Deliverable

Return the bound runtime context, test matrix, baseline, per-attempt receipts,
control grades, stop events, evidence limitations, cleanup status, and focused
remediation or follow-up questions. Do not include reusable exploit payloads.

## Rationalizations to reject

- **“The manifest denies it, so runtime testing is unnecessary.”** Integration
  layers can violate the declared contract.
- **“A harmless-looking string does not need its own run ID.”** Attribution is
  what keeps concurrent tests from becoming false evidence.
- **“The model refused, so the system is safe.”** The runtime, hooks, or tool may
  still have acted.
- **“The tool returned an error, so no side effect occurred.”** Confirm final
  state from an independent source.
- **“One more variation might work.”** Stop when the budget is exhausted or no
  new hypothesis is being isolated.
- **“Production is the only realistic environment.”** Realism does not erase
  authorization, safety, or tenant boundaries.
Pliki w paczce (3)
  • SKILL.md 4 KB
  • agents/openai.yaml 1 KB
  • assets/zero-lab-mark.svg 9 KB

Wersje

W bazie nie ma innych skilli o nazwie agent-runtime-validation.

Migawka bazy z 13.11.2026 · wersja paczki c2d8cad3737b (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90ai-surface-recon
    Opisuje ogólne zasady przeglądu powierzchni autoryzowanego systemu AI w ramach oceny bezpieczeństwa.
  • 90api-authz-test
    Opisuje ogólne zasady przeglądu kontroli dostępu w API w ramach autoryzowanego audytu, bez szczegółów technik.
  • 90agent-harness-review
    Opisuje ogólne zasady przeglądu pętli wykonawczej agentów spoza Claude Code i granice zaufania dla danych zwrotnych z narzędzi.
  • 100agent-security-hardening
    Wzmacnia runtime agentów AI, które przetwarzają niezaufane treści i wywołują narzędzia, według wytycznych bezpieczeństwa.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.