add-benchmark
/add-benchmark
Dodaje nowe zadanie SWE z poprawki błędu na GitHubie do potoku bench-swe na podstawie linku do issue lub PR.
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 11.08.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Dodaje nowe zadanie SWE z poprawki błędu na GitHubie do potoku bench-swe na podstawie linku do issue lub PR.
Argumenty
/add-benchmark <github-issue-or-pr-url> <language>
Oryginalny opis (EN)
Add a new SWE benchmark task from a real GitHub bug-fix. Use when the user provides a GitHub issue or PR URL and wants to add it to the bench-swe pipeline.
Jak działa
- Arguments
- Repository selection criteria
- Steps
Podgląd SKILL.md
---
name: add-benchmark
description:
Add a new SWE benchmark task from a real GitHub bug-fix. Use when the user
provides a GitHub issue or PR URL and wants to add it to the bench-swe
pipeline.
argument-hint: <github-issue-or-pr-url> <language>
disable-model-invocation: true
---
# Add SWE Benchmark
Add a new benchmark task to the bench-swe pipeline from a real GitHub bug-fix.
The human provides the GitHub issue or PR URL; the agent handles extraction,
validation, and file creation.
## Arguments
- **url** (required): GitHub issue or PR URL (e.g.
`https://github.com/gorilla/mux/issues/534` or
`https://github.com/gorilla/mux/pull/585`)
- **language** (required): One of: go, python, typescript, javascript, rust,
ruby, java, c, cpp, php, csharp
## Repository selection criteria
Good benchmark repos are **focused libraries with a clear bug** — not large
applications. Before submitting a URL, prefer repos that are:
- **Size**: < 50 MB and < 800 source files (excludes vendor/node_modules)
- **Dependencies**: < 50 direct dependencies (go.mod, package.json, etc.)
- **Scope**: a library or small service, not a monorepo or full application
The agent will reject repos that exceed these limits.
## Steps
1. Dispatch the `task-curator` agent with the provided arguments. The agent
will:
- Validate inputs (URL, language)
- Check repository size and dependency count (rejects oversized repos)
- Resolve the fix PR (from issue or directly)
- Clone the repo, extract base/fix commits, and generate the gold patch
- Determine the test command from repo conventions
- Write task JSON to `bench-swe/tasks/{language}/` and patch to
`bench-swe/patches/`
- Run 5 inline verification checks (patch applies, files match, no leaks,
schema completeness, no test files in patch)
- Fix any issues found during verification
2. Report the result including:
- Task ID, repo, issue URL
- Files and lines changed
- Verification table
Wersje
W bazie nie ma innych skilli o nazwie add-benchmark.
Migawka bazy z 13.11.2026 · wersja paczki 720de41baca4 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 95swe-390-ship-a-fix-end-to-end
Prowadzi poprawkę błędu od zgłoszenia do zweryfikowanego wdrożenia: testy, przegląd, scalenie, wdrożenie i raport. - 100create-github-issue
Tworzy zgłoszenia GitHub przez CLI gh: nowe issue, zgłoszenie błędu, prośba o funkcję lub zadanie. - 85swe-120-triage-a-bug-report
Zamienia zgłoszenie błędu w odtworzony, zdiagnozowany i oceniony problem bez zmiany kodu, gdy ktoś pyta, dlaczego coś nie działa. - 100sanity-bench
Uruchamia i odczytuje wyniki hermetycznego zestawu testów wydajności Studio w perf/bench, lokalnie i przez workflow GitHub Actions, wraz z porównaniami commitów i werdyktami. - 90bench-profile
Projektuje benchmark wydajności API: scenariusze testowe, metryki i narzędzia, w tym testy obciążeniowe i pomiar przepustowości. - 100benchmark
Dobiera wymiary benchmarku pod decyzję, uruchamia bun repo bench i podaje każdą liczbę z tym, co ją ogranicza.