# SafeHome 实验计划

## 实验追踪器

| 实验ID | 阶段 | 状态 | 依赖 | 预计时间 | GPU 需求 |
|--------|------|------|------|---------|---------|
| E1 | 仿真器开发 | 待开始 | 无 | 3-4周 | 无 |
| E2 | Benchmark构建 | 待开始 | E1 | 2-3周 | 无 |
| E3 | 基线评估 | 待开始 | E2 | 1-2周 | API调用 |
| E4 | SFT基线 | 待开始 | E2,E3 | 1-2周 | 1-2×A100 |
| E5 | GRPO训练 | 待开始 | E4 | 2-3周 | 4×A100 |
| E6 | 消融实验 | 待开始 | E5 | 1-2周 | 2×A100 |
| E7 | 分析与论文 | 待开始 | E3-E6 | 2-3周 | 无 |

---

## E1: 仿真器开发

### 任务清单
- [ ] Fork SimuHome 代码库 (https://github.com/holi-lab/SimuHome/)
- [ ] 新增安全设备类型（门窗传感器、运动检测器、智能门锁、烟雾报警器、水浸传感器、安防面板）
- [ ] 实现故障注入引擎（传感器故障、执行器故障、通信故障）
- [ ] 实现行为模式生成器（正常行为模板 + 异常行为场景）
- [ ] 新增安全相关 API（get_security_log, get_entry_history, get_device_health）
- [ ] 新增环境变量（occupancy_pattern, entry_log, device_health_score）
- [ ] 单元测试：验证每种故障注入和行为模式的正确性

### 验收标准
- 所有新设备类型通过 Matter 协议接口正常工作
- 故障注入在仿真中正确影响设备状态和环境变量
- 行为模式生成器能生成逼真的24小时活动日志

---

## E2: Benchmark 构建

### 任务清单
- [ ] 设计 SQ1-SQ5 的目标模板和评估条件
- [ ] 实现 episode 自动生成流程（参考 SimuHome 的 3 步流程）
- [ ] 生成 600 episodes（SQ1:100, SQ2:100, SQ3:150, SQ4:150, SQ5:100）
- [ ] 人工验证：每种类型随机抽查 20%，确保质量
- [ ] 实现评估脚本（仿真器验证 + LLM-as-a-Judge）
- [ ] 编写 Agent 系统 prompt（安全推理版）

### Query 生成示例

**SQ1 (设备健康诊断) — TP 示例**:
```
初始状态: 客厅温度传感器读数过去3小时固定在22.00°C（注入Stuck-at故障）
Query: "你能检查一下客厅的温度传感器是否正常工作吗？最近好像温度一直没变过。"
Goal: Agent 应识别传感器读数异常固定，推断传感器故障
Prerequisite: get_room_devices(living_room), get_attribute(temp_sensor, history)
```

**SQ2 (单事件安全判断) — TP 示例**:
```
初始状态: 凌晨2:30AM, 安防系统Armed, 书房窗户传感器从Closed变为Open
Query: [系统自动触发] "窗户传感器触发：书房窗户已打开。当前时间凌晨2:30，安防系统处于布防状态。"
Goal: Agent 应识别为可能的入侵，建议触发警报
```

**SQ3 (行为序列分析) — TP 示例**:
```
初始状态: 提供过去6小时的设备状态日志
日志中隐藏的异常: 21:00正常下班回家→21:30正常活动→22:00卧室灯关→22:15客厅意外出现运动→22:16厨房窗户打开→22:20客厅灯打开（非常规操作模式）
Query: "请分析过去6小时的设备活动日志，检查是否有任何异常。"
Goal: Agent 应识别22:15后的活动模式异常（居住者已入睡但有人在客厅活动）
```

---

## E3: 基线评估

### 模型列表（对标 SimuHome Table 1）

| 组别 | 模型 | API 来源 |
|------|------|---------|
| 小模型 | Llama3.2-1B-it, Llama3.2-3B-it, Gemma3-4B-it | OpenRouter |
| 中模型 | Llama4-Scout, Llama4-Maverick, Qwen3-32B, Qwen3-235B-A22B, Gemma3-12B-it, Gemma3-27B-it | OpenRouter |
| 闭源 | Gemini-2.5-Flash-Lite, Gemini-2.5-Flash, GPT-4.1-nano, GPT-4.1-mini, GPT-4.1 | OpenRouter |
| 推理 | Gemini-2.5-Pro, GPT-5.1 | OpenRouter |

### 评估指标
- Detection Accuracy (DA)
- Miss Rate (MR) — 安全关键指标
- False Alarm Rate (FAR)
- F1-Security
- Reasoning Quality (LLM-Judge, 1-5 scale)
- Response Latency (秒)

---

## E4: SFT 基线

### 数据生成
- 使用 GPT-5.1 在 SafeHome 环境中生成成功交互序列
- 目标: 400 条成功轨迹（覆盖所有 SQ 类型）
- 过滤: 仅保留仿真器验证通过的轨迹

### 训练配置
- 模型: Qwen3-4B, Qwen3-8B
- Epochs: 3
- Learning Rate: 2e-5
- Batch Size: 8
- 评估: SafeHome Benchmark 全评

---

## E5: GRPO 训练

### 奖励函数设计
```python
def security_reward(prediction, ground_truth, reasoning_chain):
    base_reward = 0
    
    # 检测准确性奖励
    if ground_truth.is_threat:
        if prediction.detected_threat:
            base_reward = +3.0  # True Positive
        else:
            base_reward = -5.0  # Missed threat (严重惩罚)
    else:
        if prediction.detected_threat:
            base_reward = -2.0  # False alarm
        else:
            base_reward = +1.0  # True Negative
    
    # 推理链质量奖励（可验证步骤）
    verified_steps = verify_reasoning_steps(reasoning_chain)
    chain_reward = 0.5 * len(verified_steps)
    
    # 威胁类型识别奖励
    if prediction.threat_type == ground_truth.threat_type:
        type_reward = +1.0
    else:
        type_reward = 0
    
    return base_reward + chain_reward + type_reward
```

### 训练配置
- 模型: Qwen3-4B (主), Qwen3-8B (副)
- Group Size: 8 (每个prompt生成8个候选)
- KL Penalty: 0.05
- 训练步数: 5000-10000
- 学习率: 5e-7
- Gradient Accumulation: 4
- 数据: 2000 episodes 自动生成

### 对比方法
- DPO: 使用 GPT-5.1 生成的 preferred/rejected pairs
- RLHF: 训练单独的 reward model
- REINFORCE: 简单策略梯度

---

## E6: 消融实验

### A1: 奖励设计消融
| 变体 | 奖励函数 | 对比目的 |
|------|---------|---------|
| R-binary | 只有正确/错误 (+1/-1) | 最简单的奖励 |
| R-safety | 区分 TP/FP/TN + miss 惩罚 | 安全感知奖励 |
| R-chain | R-safety + 推理链奖励 | 过程奖励的影响 |
| R-full | R-chain + 威胁类型奖励 | 完整奖励 |

### A2: 场景复杂度消融
| 变体 | 训练场景 | 评估场景 |
|------|---------|---------|
| Simple-only | SQ1+SQ2 | SQ1-SQ5 |
| Complex-only | SQ3+SQ4 | SQ1-SQ5 |
| All | SQ1-SQ5 | SQ1-SQ5 |

### A3: 训练数据量消融
| 变体 | Episodes 数量 |
|------|--------------|
| 100 | 最少 |
| 500 | 少量 |
| 2000 | 标准 |
| 5000 | 大量 |

### A4: 模型规模消融
| 模型 | 参数量 |
|------|--------|
| Qwen3-1.7B | 1.7B |
| Qwen3-4B | 4B |
| Qwen3-8B | 8B |
| Qwen3-32B | 32B |

---

## 最先启动的 3 个实验

1. **E1: Fork SimuHome + 扩展安全设备** — 立即开始，无依赖
2. **E3-pilot: 用 GPT-4.1 测试 10 个手写安全场景** — 验证安全推理的难度假设
3. **E4-data: 用 GPT-5.1 生成安全推理示例** — 为 SFT 和 GRPO 准备数据

---

## 计算资源估算

| 阶段 | GPU 类型 | 数量 | 时间 | 总 GPU 小时 |
|------|---------|------|------|-----------|
| E3 | API calls | - | 1周 | - |
| E4 | A100 80GB | 2 | 1周 | ~336 |
| E5 | A100 80GB | 4 | 2周 | ~1344 |
| E6 | A100 80GB | 2 | 1周 | ~336 |
| **总计** | | | | **~2016** |