40 lines
1.6 KiB
Plaintext
40 lines
1.6 KiB
Plaintext
SafeHome Benchmark 人工标注说明
|
||
================================
|
||
|
||
一、你的任务
|
||
阅读 annotation_tasks/ 目录下的每个 txt 文件，根据智能家居设备日志判断是否存在安全异常。
|
||
|
||
二、标注方式
|
||
打开 annotation_sheet.csv，逐行填写以下字段：
|
||
|
||
1. is_anomaly: 填 yes 或 no
|
||
- yes = 日志中存在安全异常/威胁
|
||
- no = 一切正常，无异常
|
||
|
||
2. threat_type: 如果 is_anomaly=yes，填写具体类型，从以下选择：
|
||
intrusion / tailgating / credential_theft / fire_risk / unattended_cooking /
|
||
carbon_monoxide / sensor_stuck / sensor_drift / sensor_malfunction /
|
||
actuator_stuck / lock_malfunction / safety_device_failure / water_leak /
|
||
possible_fall / abnormal_inactivity / health_concern / child_safety /
|
||
behavioral_anomaly / none
|
||
如果 is_anomaly=no，填 none
|
||
|
||
3. confidence: 填 high / medium / low
|
||
- high = 非常确定
|
||
- medium = 比较确定但有一点犹豫
|
||
- low = 不太确定，猜的
|
||
|
||
4. brief_reason: 一句话解释你的判断理由
|
||
|
||
三、注意事项
|
||
- 每个 task 独立判断，不要参考其他 task 的结果
|
||
- Matter 协议温度单位是 0.01°C，比如 2350 = 23.50°C
|
||
- 正常做饭时厨房温度上升 3-5°C 是正常的
|
||
- 一天内温度波动 ±2°C 是正常的日间变化
|
||
- Occupancy 传感器有人时每5分钟心跳一次、无人时每30分钟心跳一次，这是正常的
|
||
- 不要过度解读正常的日常活动
|
||
|
||
四、参考时间
|
||
预计每个 task 需要 3-5 分钟，100 个 task 约 5-8 小时。
|
||
建议分 2-3 次完成，避免疲劳影响判断质量。
|