vlm-segmentation
/vlm-segmentation
Dobiera i ocenia potoki VLM oraz segmentacji: detekcję sterowaną tekstem, maski, licencje modeli i wdrożenie na GPU.
- Autor
- anastasiyaw ↗
- Repozytorium
- codex-claude-code-config ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 24.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 4
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 24.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Dobiera i ocenia potoki VLM oraz segmentacji: detekcję sterowaną tekstem, maski, licencje modeli i wdrożenie na GPU.
Oryginalny opis (EN)
Choose and evaluate VLM or segmentation pipelines, including text-conditioned detection, masks, part labels, model-license constraints, and measured GPU deployment choices. Use when a task has a VLM or segmentation component; route pure diffusion prompting, training, or serving to its specialized skill.
Jak działa
- Навигация по доменам
- Быстрые ответы без чтения reference-файлов
- Ключевые характеристики моделей (быстрая справка)
- Критические предупреждения
Podgląd SKILL.md
--- name: vlm-segmentation description: Choose and evaluate VLM or segmentation pipelines, including text-conditioned detection, masks, part labels, model-license constraints, and measured GPU deployment choices. Use when a task has a VLM or segmentation component; route pure diffusion prompting, training, or serving to its specialized skill. --- # VLM + Segmentation + Diffusion Engineering Скилл охватывает три тесно связанных домена. Выбери нужный раздел и загрузи соответствующий reference-файл. ## Навигация по доменам | Задача | Reference файл | |--------|---------------| | Выбор модели сегментации, pipeline "текст → маски", VLM-стек, part-labeling | `references/vlm-segmentation.md` | | Диффузионные архитектуры, schedulers, обучение, LoRA, text encoder fusion | `references/diffusion-engineering.md` | | Два инстанса SAM3 на H100, MIG/MPS, memory, профилирование | `references/gpu-deployment.md` | **Правило выбора:** если вопрос смешивает темы (например, "как деплоить диффузионную модель на H100") — прочитай оба релевантных файла. --- ## Быстрые ответы без чтения reference-файлов ### Candidate pipeline "фраза → маски" ``` 1. SAM3 PCS (текстовый концепт) → instance masks + boxes + scores ИЛИ Grounding DINO / OWLv2 / YOLO-World → boxes → SAM2.1 → masks 2. Part-labeling: отдельный классификатор по ROI + фиксированный словарь ``` ### Candidate diffusion pipeline ``` 1. Backbone: UNet (просто) или DiT/Flow (масштабирование) 2. Latent diffusion (VAE → латенты → денойзер → VAE decode) 3. Text encoder: CLIP (SD), два CLIP (SDXL), Qwen3 (Flux.2 klein 9B) 4. Fine-tune: начинать с LoRA, full fine-tune только если нужно 5. Memory: AMP (BF16) → checkpointing → ZeRO/FSDP при масштабе ``` ### Two SAM3 instances on H100 (only after host inspection) ``` MIG can provide hardware partitioning where the inspected GPU, driver, current MIG layout and workload support it. It changes host GPU configuration: preserve the current layout and obtain explicit operational approval before any change. MPS (fallback) → кооперативный шеринг, без строгой изоляции ``` --- ## Ключевые характеристики моделей (быстрая справка) | Модель | Параметры | Лицензия | Главная сильная сторона | |--------|-----------|----------|------------------------| | SAM3 | 848M | SAM License (gated) | Open-vocab сегментация по тексту, все инстансы | | SAM2.1-large | model-card specific | Apache-2.0 | Видео-трекинг, интерактивная сегментация; reproduce any FPS on the target stack | | SAM2.1-tiny | model-card specific | Apache-2.0 | Lightweight variant; reproduce any FPS on the target stack | | Florence-2-large | 770M | MIT | Унифицированные задачи через task prompt | | EdgeTAM | ~SAM2-tiny | Apache-2.0 | 16 FPS на iPhone 15 Pro Max, CoreML | | Grounding DINO | — | Apache-2.0 | Text-conditioned detection, boxes | | YOLO-World | — | GPL-3.0 | Real-time open-vocab OD, 52 FPS V100 | --- ## Критические предупреждения - **SAM3**: gated access на HF, кастомная SAM License — проверь перед продакшном - **YOLO-World**: upstream states GPL-3.0 and supports commercial usage. GPL obligations apply by default; obtain a separate commercial licence only when the intended distribution or policy requires terms outside GPL, with legal review for the specific product. - **Замена text encoder**: не plug-and-play, нужен projection + переобучение cross-attention - **MIG vs MPS**: только MIG даёт аппаратную изоляцию VRAM/SM; MPS — кооперативный шеринг - For non-English prompts, compare the target model’s supported languages on a representative evaluation set; do not silently translate or claim a universal English advantage.
Pliki w paczce (4)
- SKILL.md 4 KB
- references/diffusion-engineering.md 10 KB
- references/gpu-deployment.md 12 KB
- references/vlm-segmentation.md 8 KB
Wersje
W bazie nie ma innych skilli o nazwie vlm-segmentation.
Migawka bazy z 13.11.2026 · wersja paczki 4ee708c2fde9 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100tao-train-oneformer
Trenuje model OneFormer TAO do segmentacji uniwersalnej w jednej architekturze, z zapytaniami sterowanymi zadaniem. - 100tao-analyze-gaps-vlm-bcq
Wyciąga fałszywie pozytywne i fałszywie negatywne przypadki z predykcji VLM typu tak/nie, do analizy przyczyn. - 100mlx-vlm
Uruchamia i dotrenowuje modele wizja-język lokalnie na Macach z Apple Silicon przez MLX: opis obrazów i wydobywanie z nich tekstu, przetwarzanie wsadowe, serwer zgodny z OpenAI i LoRA. - 100hf-cache-models
Wypisuje, sprawdza i raportuje modele MLX-VLM z pamięci podręcznej, własne i załadowane, przez punkt końcowy odkrywania modeli serwera. - 100perceiving-objects-oneshot
Lekko lokalizuje obiekt w 3D jednym wyborem VLM po detekcji Grounding-DINO i segmentacji SAM3, a gdy nic nie znajdzie, zwraca czysty wynik not_found bez wyjątku. - 96byted-las-vlm-video
Rozumie treść wideo multimodalnie: tworzy opisy, streszczenia i tagi oraz odpowiada na pytania o to, co jest na nagraniu.