# 实验2 · 敏感数据字段识别打标（规则引擎 + Presidio）

> 对应模块 M2 ｜ 2 学时 ｜ 产出物：识别打标脚本 + 打标结果 CSV
> 原则：正则打底理解原理，Presidio 增强看效果，组合升级规则自己写

## 实验目标
对 `customers` 表完成字段级识别打标：每列打上【业务类别 + 敏感级别 + 依据】，并实现"组合升级"判定（身份证+手机号同表 → 整表升级）。

## 前置条件
- 实验环境 7 服务全部 Up（`sudo docker compose ps` 确认）
- 本机装有 Python 3.10+（或用 VM 内 python3）
- MySQL 业务库：192.168.32.130:3306，库 bank_biz，账号 root / fds_root_2026

## 准备工作（10 分钟）
```bash
mkdir fds-exp02 && cd fds-exp02
pip install pymysql pandas            # 国内网络慢可加 -i https://pypi.tuna.tsinghua.edu.cn/simple
```
连通性自检（照抄执行）：
```bash
python -c "import pymysql; c=pymysql.connect(host='192.168.32.130',port=3306,user='root',password='fds_root_2026',database='bank_biz'); print('OK', c.open)"
```
预期输出：`OK True`。失败先查 VPN/防火墙和 3306 端口。

## 实验步骤

### Step 1：先人工看数据（5 分钟）
```bash
python - << 'EOF'
import pymysql, pandas as pd
c = pymysql.connect(host='192.168.32.130', port=3306, user='root',
                    password='fds_root_2026', database='bank_biz')
df = pd.read_sql("SELECT * FROM customers LIMIT 5", c)
print(df.T)
EOF
```
把每列记下来：name / id_number / phone / email / address / …——这就是你的"待识别清单"。

### Step 2：写规则引擎（核心步骤，约 30 分钟）
新建 `rule_engine.py`，照抄以下骨架（★★ 标注处为你要补的空）：

```python
import pymysql, pandas as pd, re, yaml, json

RULES = {  # 正则规则：列名 -> (规则名, 正则, 级别, 依据)
    "id_number": ("证件号",   r"^\d{17}[\dX]$",        "C2", "JR/T 0197 表1"),
    "phone":     ("手机号",   r"^1[3-9]\d{9}$",        "C2", "JR/T 0197 表1"),
    "email":     ("邮箱",     r"^[^@\s]+@[^@\s]+\.[a-z]{2,}$", "C1", "JR/T 0197 表1"),
    # ★★ 补一条"银行卡号"规则：16-19 位数字，级别 C2，依据同上
}

def load_yaml(path):
    with open(path, encoding='utf-8') as f:
        return yaml.safe_load(f)

def classify_table(df: pd.DataFrame, combos: list) -> list:
    rows = []
    for col in df.columns:
        hit = None
        for name, pat, level, basis in RULES.values():
            if df[col].astype(str).str.match(pat).mean() > 0.8:  # 80% 命中才认定
                hit = (col, name, level, basis); break
        if hit: rows.append(hit)
        else:   rows.append((col, "未识别", "C3以下", "人工判断"))
    # ★★ 组合升级判定：若同表同时存在 C2 的 id_number 与 phone，
    #    整表级别升级为"3级(敏感)"，在结果里加一行 level='3级-组合升级'
    return rows

if __name__ == "__main__":
    conn = pymysql.connect(host='192.168.32.130', port=3306, user='root',
                           password='fds_root_2026', database='bank_biz')
    df = pd.read_sql("SELECT * FROM customers", conn)
    combos = load_yaml("combos.yaml")
    result = pd.DataFrame(classify_table(df, combos),
                          columns=["column", "识别类型", "级别", "依据"])
    result.to_csv("exp02_打标结果.csv", index=False, encoding="utf-8-sig")
    print(result)
```

再建组合规则文件 `combos.yaml`（★ 自己补第二组）：
```yaml
combo_rules:
  - when_all_present: [id_number, phone]
    upgrade_to: "3级-组合升级"
    basis: "JR/T 0197 5.2 组合标识符规则"
  # ★ 补一组：邮箱 + 姓名 同表 -> "2级"
```

### Step 3：运行并核对（10 分钟）
```bash
pip install pyyaml
python rule_engine.py
```
预期：输出表里 `id_number`、`phone` 标 C2，末尾出现 `3级-组合升级` 行。

### Step 4：Presidio 增强（选做加分，约 30 分钟）
```bash
pip install presidio-analyzer
python -m spacy download zh_core_web_sm    # 中文小模型，约 50MB
```
```python
from presidio_analyzer import AnalyzerEngine
a = AnalyzerEngine()
res = a.analyze(text="张三,身份证 110101199003074258,手机 13812345678",
                language="zh")
for r in res: print(r.entity_type, r.start, r.end, round(r.score, 2))
```
预期：识别出 PERSON / ID_CARD 类似实体。把 Presidio 与正则的**召回差异**记进实验报告。

### Step 5：跑全部五张表（10 分钟）
把 Step 2 的主循环对 `accounts / transactions / credit_query_log / wealth_risk_eval` 各执行一次，
结果合并输出 `exp02_全表打标.csv`。

## 验收自查
- [ ] 自写的银行卡号规则能命中 accounts 表卡号列
- [ ] combos.yaml 有 ≥ 2 条组合规则且生效
- [ ] 两个 CSV 已生成
- [ ] （选做）Presidio 差异记录 ≥ 3 条

## 评分要点（10 分制）
规则补全且命中 3 分｜组合升级逻辑正确 3 分｜五表全跑 2 分｜Presidio 差异分析 2 分

## 常见问题
| 问题 | 处理 |
|---|---|
| 连不上 3306 | 确认在课程 VPN/内网；或改在 VM 内执行（host 写 127.0.0.1） |
| spacy 模型下载失败 | 用清华 pip 源重试；实在不行 Presidio 部分记"环境受限"，不影响及格 |
| 中文列名乱码 | CSV 用 utf-8-sig（骨架已带），Excel 打开即正常 |

## 提交物
`rule_engine.py` + `combos.yaml` + `exp02_打标结果.csv` + `exp02_全表打标.csv`（选做附 Presidio 笔记）
