Przejdź do treści
Biblioteka skilli
Programowanie · Testowanie

add-benchmark

/add-benchmark

Dodaje nowe zadanie SWE z poprawki błędu na GitHubie do potoku bench-swe na podstawie linku do issue lub PR.

Autor
ory ↗
Repozytorium
lumen ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
11.08.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
2
Przestarzałość

Brak sygnałów. Repozytorium zmienione 11.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Dodaje nowe zadanie SWE z poprawki błędu na GitHubie do potoku bench-swe na podstawie linku do issue lub PR.

Argumenty

/add-benchmark <github-issue-or-pr-url> <language>
Oryginalny opis (EN)

Add a new SWE benchmark task from a real GitHub bug-fix. Use when the user provides a GitHub issue or PR URL and wants to add it to the bench-swe pipeline.

Jak działa

  1. Arguments
  2. Repository selection criteria
  3. Steps
Sekcje z nagłówków SKILL.md, w oryginale · 46 linii, 247 słów
Podgląd SKILL.md
---
name: add-benchmark
description:
  Add a new SWE benchmark task from a real GitHub bug-fix. Use when the user
  provides a GitHub issue or PR URL and wants to add it to the bench-swe
  pipeline.
argument-hint: <github-issue-or-pr-url> <language>
disable-model-invocation: true
---

# Add SWE Benchmark

Add a new benchmark task to the bench-swe pipeline from a real GitHub bug-fix.
The human provides the GitHub issue or PR URL; the agent handles extraction,
validation, and file creation.

## Arguments

- **url** (required): GitHub issue or PR URL (e.g.
  `https://github.com/gorilla/mux/issues/534` or
  `https://github.com/gorilla/mux/pull/585`)
- **language** (required): One of: go, python, typescript, javascript, rust,
  ruby, java, c, cpp, php, csharp

## Repository selection criteria

Good benchmark repos are **focused libraries with a clear bug** — not large
applications. Before submitting a URL, prefer repos that are:

- **Size**: < 50 MB and < 800 source files (excludes vendor/node_modules)
- **Dependencies**: < 50 direct dependencies (go.mod, package.json, etc.)
- **Scope**: a library or small service, not a monorepo or full application

The agent will reject repos that exceed these limits.

## Steps

1. Dispatch the `task-curator` agent with the provided arguments. The agent
   will:
   - Validate inputs (URL, language)
   - Check repository size and dependency count (rejects oversized repos)
   - Resolve the fix PR (from issue or directly)
   - Clone the repo, extract base/fix commits, and generate the gold patch
   - Determine the test command from repo conventions
   - Write task JSON to `bench-swe/tasks/{language}/` and patch to
     `bench-swe/patches/`
   - Run 5 inline verification checks (patch applies, files match, no leaks,
     schema completeness, no test files in patch)
   - Fix any issues found during verification

2. Report the result including:
   - Task ID, repo, issue URL
   - Files and lines changed
   - Verification table

Wersje

W bazie nie ma innych skilli o nazwie add-benchmark.

Migawka bazy z 13.11.2026 · wersja paczki 720de41baca4 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 95swe-390-ship-a-fix-end-to-end
    Prowadzi poprawkę błędu od zgłoszenia do zweryfikowanego wdrożenia: testy, przegląd, scalenie, wdrożenie i raport.
  • 100create-github-issue
    Tworzy zgłoszenia GitHub przez CLI gh: nowe issue, zgłoszenie błędu, prośba o funkcję lub zadanie.
  • 85swe-120-triage-a-bug-report
    Zamienia zgłoszenie błędu w odtworzony, zdiagnozowany i oceniony problem bez zmiany kodu, gdy ktoś pyta, dlaczego coś nie działa.
  • 100sanity-bench
    Uruchamia i odczytuje wyniki hermetycznego zestawu testów wydajności Studio w perf/bench, lokalnie i przez workflow GitHub Actions, wraz z porównaniami commitów i werdyktami.
  • 90bench-profile
    Projektuje benchmark wydajności API: scenariusze testowe, metryki i narzędzia, w tym testy obciążeniowe i pomiar przepustowości.
  • 100benchmark
    Dobiera wymiary benchmarku pod decyzję, uruchamia bun repo bench i podaje każdą liczbę z tym, co ją ogranicza.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.