feature-analysis
/feature-analysis
Prowadzi głęboką analizę cech: statystyki podstawowe, IV, stabilność PSI i korelacje, a wynikiem są cztery warianty zestawu cech do modelowania; wymaga zmiennej docelowej.
- Autor
- aliyun ↗
- Repozytorium
- qwen-dianjin ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 17.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 15
- Skrypty
- 14
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 17.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
- 14 skryptów w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.
Skrypty: _vendor/__init__.py, _vendor/data/__init__.py, _vendor/data/loading.py, _vendor/data/missing.py, _vendor/data/splitting.py, _vendor/data/woe_transform.py, _vendor/data_utils.py, _vendor/fa_core/__init__.py, _vendor/fa_core/correlation.py, _vendor/fa_core/iv.py, _vendor/fa_core/psi.py, _vendor/fa_core/statistics.py, _vendor/result_emitter.py, scripts/analyzer.py
Co robi i kiedy
Prowadzi głęboką analizę cech: statystyki podstawowe, IV, stabilność PSI i korelacje, a wynikiem są cztery warianty zestawu cech do modelowania; wymaga zmiennej docelowej.
Wyzwalacze z opisu
Oryginalny opis (EN)
【特征深度分析】当用户需要"全面分析特征"、"生成特征报告"、"看相关性"、"推荐建模方案"、"跑一遍特征"、"特征全景"、"哪些特征有用"时使用。包含四大维度:基础统计、IV值、PSI稳定性、相关性分析,输出四套建模特征方案。前提条件:必须提供目标变量。不做单特征快速探索,不做模型训练。与 univariate-analysis 的区别:本 Skill 是全量特征深度分析+方案推荐,univariate-analysis 聚焦少量特征快速分析。
Jak działa
- 参数说明
- 执行方式
- 常用场景
- 报告输出结构
- 特征筛选方案说明
- 与其他 Skill 的关系
- 注意事项
Podgląd SKILL.md
---
name: feature-analysis
category: 数据探索
description: 【特征深度分析】当用户需要"全面分析特征"、"生成特征报告"、"看相关性"、"推荐建模方案"、"跑一遍特征"、"特征全景"、"哪些特征有用"时使用。包含四大维度:基础统计、IV值、PSI稳定性、相关性分析,输出四套建模特征方案。前提条件:必须提供目标变量。不做单特征快速探索,不做模型训练。与 univariate-analysis 的区别:本 Skill 是全量特征深度分析+方案推荐,univariate-analysis 聚焦少量特征快速分析。
next_steps:
- skill: xgb-modeling
text: 用推荐方案跑基线模型
prompt: 跑一个基线模型,看看AUC和KS
---
# 建模特征分析报告 (portable)
基于 `scripts/analyzer.py` 主脚本,对数据集特征进行全面分析并生成 Markdown 报告。
---
## 参数说明
| 参数 | 必选 | 默认值 | 说明 |
|------|:----:|--------|------|
| `--data_path` | ✅ | - | 数据文件路径(parquet/csv) |
| `--target` | ✅ | - | 目标变量列名(0/1 二分类) |
| `--exclude_cols` | | - | 排除列,逗号分隔 |
| `--baseline_filter` | | - | PSI 基准数据条件(pandas query) |
| `--comparison_filter` | | - | PSI 对比数据条件(pandas query) |
| `--top_n` | | `10` | 输出 IV 排名前 N 的特征分箱明细(默认 10) |
| `--specified_features` | | - | 指定特征分箱明细,逗号分隔 |
| `--output` | | `feature_analysis_report.md` | 报告输出名称 |
| `--output_dir` | | `./outputs/<ts>` | 产物输出目录 |
| `--config` | | - | JSON 配置文件路径 |
---
## 执行方式
```bash
python scripts/analyzer.py \
--data_path ./data.parquet --target y_label \
--exclude_cols "cust_code,busi_dt" \
--baseline_filter "busi_dt <= '20250501'" \
--comparison_filter "busi_dt > '20250701'" \
--output_dir ./outputs/fa_run
```
---
## 常用场景
### 场景一:基础分析(不含 PSI)
适用于无时间维度的数据集:
```bash
python scripts/analyzer.py --data_path ./data.parquet --target y_label --output_dir ./outputs/fa_run
```
### 场景二:完整分析(含 PSI)
适用于有时间切分条件的数据集:
```bash
python scripts/analyzer.py --data_path ./data.parquet --target y_label \
--baseline_filter "busi_dt <= '20250501'" \
--comparison_filter "busi_dt > '20250701'" \
--output_dir ./outputs/fa_run
```
### 场景三:单变量深度分析
输出 IV Top N 或指定特征的完整分箱明细表:
```bash
python scripts/analyzer.py --data_path ./data.parquet --target y_label --top_n 10 --output_dir ./outputs/fa_run
python scripts/analyzer.py --data_path ./data.parquet --target y_label --specified_features "umeng_ALL,bscore" --output_dir ./outputs/fa_run
```
---
## 报告输出结构
生成的 `feature_analysis_report.md` 包含以下章节:
| 章节 | 内容 |
|------|------|
| 1. 数据概览 | 样本量、特征数、正样本率 |
| 2. 基础统计分析 | 各特征的均值、标准差、缺失率、偏度、峰度等 |
| 3. IV值分析 | IV 排名 Top 20、IV 分布统计 |
| 4. PSI稳定性分析 | PSI 排名、不稳定特征清单 |
| 5. 相关性分析 | 高相关特征对、共线性处理建议 |
| 6. 综合建议 | 推荐保留/移除特征 |
| 7. 建模特征方案 | 四套特征筛选方案(全量/去共线性/高IV/稳定性优先) |
| 8. 单变量深度分析 | 默认输出 Top 10 特征分箱明细,可通过 `--top_n` 调整 |
---
## 特征筛选方案说明
报告自动生成四套建模特征方案:
| 方案 | 筛选条件 | 适用场景 |
|------|----------|----------|
| 方案一:全量入模 | 基础合格池(IV>=0.02, PSI<0.25, 缺失率<50%) | XGBoost/LightGBM 等树模型 |
| 方案二:去共线性标准 | 基础池 + 贪心去 \|r\|>=0.7 | 逻辑回归、评分卡 |
| 方案三:高预测力精选 | IV>=0.1 + 去共线性 | 特征受限、可解释性要求高 |
| 方案四:稳定性优先 | PSI<0.1 + 去共线性 | 线上部署、高稳定性要求 |
---
## 与其他 Skill 的关系
| Skill | 用途区别 |
|-------|----------|
| **feature-analysis** | 全量特征深度分析+方案推荐,需要目标变量 |
| data-profiling | 快速了解数据轮廓,不做深度分析 |
| univariate-analysis | 少量特征快速分析,不含全量相关性和方案推荐 |
**建议流程**:`data-profiling`(快速扫描)→ `feature-analysis`(深度分析+方案推荐)→ `xgb-modeling`(建模)
---
## 注意事项
1. **目标变量**:必须为数值型
2. **PSI 分析**:需同时提供 `baseline_filter` 和 `comparison_filter`,否则跳过
3. **相关性**:仅对数值型特征有效,非数值列自动跳过
4. **大数据集**:报告默认展示 IV Top 20,完整数据在文件中
5. **产物位置**:报告保存到 `<output_dir>/`
Pliki w paczce (15)
- SKILL.md 5 KB
- _vendor/__init__.py 1 KB
- _vendor/data_utils.py 1 KB
- _vendor/result_emitter.py 7 KB
- _vendor/data/__init__.py 1 KB
- _vendor/data/loading.py 3 KB
- _vendor/data/missing.py 6 KB
- _vendor/data/splitting.py 20 KB
- _vendor/data/woe_transform.py 8 KB
- _vendor/fa_core/__init__.py 1 KB
- _vendor/fa_core/correlation.py 4 KB
- _vendor/fa_core/iv.py 4 KB
- _vendor/fa_core/psi.py 6 KB
- _vendor/fa_core/statistics.py 4 KB
- scripts/analyzer.py 35 KB
Wersje
W bazie nie ma innych skilli o nazwie feature-analysis.
Migawka bazy z 13.11.2026 · wersja paczki 0ac9157c85af (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 1 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100model-explanation
Wyjaśnia decyzje wytrenowanego modelu XGBoost metodą SHAP: globalną ważność cech, wyjaśnienie pojedynczej predykcji i analizę interakcji cech, bez trenowania modelu i selekcji cech. - 100univariate-analysis
Analizuje pojedyncze cechy: rozkłady, binowanie, tabele krzyżowe i wartość IV przy zadanym celu. - 100datarobot-feature-engineering
Prowadzi przez inżynierię cech, odkrywanie cech i analizę ważności cech w DataRobot, w tym automatyczną inżynierię cech platformy.