11 lines
43 KiB
JSON
11 lines
43 KiB
JSON
{"episode_id": "SQ1_FP_A_0080", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0080.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-15T00:00:00", "seed": 20260709, "scenario_id": "DF-01", "total_events": 1119, "anomaly_events_count": 5}, "ground_truth": {"scenario_id": "DF-01-FP", "scenario_name": "DF-01-FP: 空调恒温控制导致温度稳定", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "有微小波动（±0.2°C），不是完全固定值；且空调处于开启状态", "target_room": "bedroom", "injection_time": "2026-06-15T17:51:00", "variant": "FP"}, "raw_response": "```json\n{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"未检测到威胁，所有传感器状态正常\",\n \"reasoning\": [\n \"推理步骤1: 分析 bedroom 温度传感器数据，从午夜 21.69°C 缓慢上升至早晨约 24.5°C，符合夏季日间自然升温趋势，无突变或异常峰值。\",\n \"推理步骤2: bedroom occupancy 传感器在凌晨至早上6:42一直为0，之后住户起床，传感器正确检测到有人，随后住户活动（开灯、开窗帘）与 occupancy 变化一致。\",\n \"推理步骤3: 住户于7:15出门后，occupancy 恢复为0，温度继续缓慢上升，无其他异常事件触发（如窗户传感器、漏水传感器等均无报告）。\",\n \"推理步骤4: 厨房和客厅温度同步上升，但厨房温度略高，可能是朝向或电器影响，但整体趋势合理，且无烟雾或 CO 报警。\"\n ],\n \"key_evidence\": [\n \"bedroom 温度从 21.69°C 平稳升至 24.5°C，无突然跳跃。\",\n \"occupancy 传感器在住户起床（06:42）和离开（07:15）时准确报告状态变化。\",\n \"未发现任何异常事件如门窗打开、漏水或烟雾报警。\"\n ],\n \"recommended_actions\": [\n \"无需采取特殊措施，系统运行正常。\",\n \"建议定期检查传感器电池和网络连接，确保长期稳定。\"\n ]\n}\n```", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "未检测到威胁，所有传感器状态正常", "reasoning": ["推理步骤1: 分析 bedroom 温度传感器数据，从午夜 21.69°C 缓慢上升至早晨约 24.5°C，符合夏季日间自然升温趋势，无突变或异常峰值。", "推理步骤2: bedroom occupancy 传感器在凌晨至早上6:42一直为0，之后住户起床，传感器正确检测到有人，随后住户活动（开灯、开窗帘）与 occupancy 变化一致。", "推理步骤3: 住户于7:15出门后，occupancy 恢复为0，温度继续缓慢上升，无其他异常事件触发（如窗户传感器、漏水传感器等均无报告）。", "推理步骤4: 厨房和客厅温度同步上升，但厨房温度略高，可能是朝向或电器影响，但整体趋势合理，且无烟雾或 CO 报警。"], "key_evidence": ["bedroom 温度从 21.69°C 平稳升至 24.5°C，无突然跳跃。", "occupancy 传感器在住户起床（06:42）和离开（07:15）时准确报告状态变化。", "未发现任何异常事件如门窗打开、漏水或烟雾报警。"], "recommended_actions": ["无需采取特殊措施，系统运行正常。", "建议定期检查传感器电池和网络连接，确保长期稳定。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 11.118038892745972, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0084", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0084.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-09T00:00:00", "seed": 20260713, "scenario_id": "DF-03", "total_events": 1123, "anomaly_events_count": 4}, "ground_truth": {"scenario_id": "DF-03-FP", "scenario_name": "DF-03-FP: 宠物活动", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "触发间隔不规律（不是周期性的），且频率较低（几分钟一次不是几十秒一次）", "target_room": "bedroom", "injection_time": "2026-06-09T14:57:00", "variant": "FP"}, "raw_response": "```json\n{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"bedroom区域的传感器工作正常，读数连续、平滑且符合物理规律，未发现传感器自身故障或异常行为。\",\n \"reasoning\": [\n \"推理步骤1: 检查bedroom温度传感器(bedroom_temp_sensor)数据。日志显示从00:00到11:20期间，温度值从21.73°C（2173）稳步上升至24.32°C（2432），每分钟变化量小（通常0.1-0.3°C），无跳变、无丢失，符合温度渐变的物理规律。\",\n \"推理步骤2: 检查bedroom运动传感器(bedroom_occupancy)数据。在00:00-06:24期间持续为0，表示无人，符合住户夜间睡眠习惯（但实际住户可能在卧室？但传感器报告为0，可能住户在卧室但传感器未触发？但凌晨6:24后变为1，随后周期性更新为1，表明传感器正常工作。注：运动传感器通常检测移动，若人静止可能不触发，所以长时间为0也可能正常。但结合后续事件（开灯、开窗、出门），传感器在有人活动时正确报告，功能正常。\",\n \"推理步骤3: 对比其他房间温度传感器。客厅和厨房温度传感器也呈现相同趋势的持续上升（从约22.6°C升至25.4°C），变化速率一致，说明这是环境整体升温，而非单个传感器故障。传感器之间数据协调，进一步确认bedroom温度传感器准确。\",\n \"推理步骤4: 虽然温度异常升高（尤其在无人夜间时段，从22°C升至25°C以上）可能表示火灾风险或空调故障，但传感器本身正确反映了这一变化，不能归为传感器故障。因此，从传感器工作状态角度看，无异常。\"\n ],\n \"key_evidence\": [\n \"bedroom_temp_sensor读数从00:00的2173（21.73°C）逐步上升至11:20的2432（24.32°C），每分钟变化小于0.3°C，无突变。\",\n \"bedroom_occupancy在凌晨长时间为0，早晨6:24后正确切换为1，并在后续时间随人员移动正常更新。\",\n \"其他房间温度传感器（living_room_temp_sensor, kitchen_temp_sensor）表现出相同的上升趋势，排除单点传感器故障。\"\n ],\n \"recommended_actions\": [\n \"尽管传感器工作正常，但整晚室内温度持续上升（从约22°C升至25°C以上）值得关注。建议检查空调系统是否故障（如制热模式意外开启）或是否存在潜在火灾隐患（如电器过热）。\",\n \"检查厨房灶具和烟雾报警器日志（当前日志未包含这些设备的状态变化），确认是否有异常。\",\n \"如家中有宠物或植物，需确保环境温度不会继续升高至危险水平。\"\n ]\n}\n```", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "bedroom区域的传感器工作正常，读数连续、平滑且符合物理规律，未发现传感器自身故障或异常行为。", "reasoning": ["推理步骤1: 检查bedroom温度传感器(bedroom_temp_sensor)数据。日志显示从00:00到11:20期间，温度值从21.73°C（2173）稳步上升至24.32°C（2432），每分钟变化量小（通常0.1-0.3°C），无跳变、无丢失，符合温度渐变的物理规律。", "推理步骤2: 检查bedroom运动传感器(bedroom_occupancy)数据。在00:00-06:24期间持续为0，表示无人，符合住户夜间睡眠习惯（但实际住户可能在卧室？但传感器报告为0，可能住户在卧室但传感器未触发？但凌晨6:24后变为1，随后周期性更新为1，表明传感器正常工作。注：运动传感器通常检测移动，若人静止可能不触发，所以长时间为0也可能正常。但结合后续事件（开灯、开窗、出门），传感器在有人活动时正确报告，功能正常。", "推理步骤3: 对比其他房间温度传感器。客厅和厨房温度传感器也呈现相同趋势的持续上升（从约22.6°C升至25.4°C），变化速率一致，说明这是环境整体升温，而非单个传感器故障。传感器之间数据协调，进一步确认bedroom温度传感器准确。", "推理步骤4: 虽然温度异常升高（尤其在无人夜间时段，从22°C升至25°C以上）可能表示火灾风险或空调故障，但传感器本身正确反映了这一变化，不能归为传感器故障。因此，从传感器工作状态角度看，无异常。"], "key_evidence": ["bedroom_temp_sensor读数从00:00的2173（21.73°C）逐步上升至11:20的2432（24.32°C），每分钟变化小于0.3°C，无突变。", "bedroom_occupancy在凌晨长时间为0，早晨6:24后正确切换为1，并在后续时间随人员移动正常更新。", "其他房间温度传感器（living_room_temp_sensor, kitchen_temp_sensor）表现出相同的上升趋势，排除单点传感器故障。"], "recommended_actions": ["尽管传感器工作正常，但整晚室内温度持续上升（从约22°C升至25°C以上）值得关注。建议检查空调系统是否故障（如制热模式意外开启）或是否存在潜在火灾隐患（如电器过热）。", "检查厨房灶具和烟雾报警器日志（当前日志未包含这些设备的状态变化），确认是否有异常。", "如家中有宠物或植物，需确保环境温度不会继续升高至危险水平。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 24.607404947280884, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0100", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0100.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-22T00:00:00", "seed": 20260729, "scenario_id": "DF-03", "total_events": 1116, "anomaly_events_count": 4}, "ground_truth": {"scenario_id": "DF-03-FP", "scenario_name": "DF-03-FP: 宠物活动", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "触发间隔不规律（不是周期性的），且频率较低（几分钟一次不是几十秒一次）", "target_room": "bedroom", "injection_time": "2026-06-22T21:24:00", "variant": "FP"}, "raw_response": "{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"卧室区域传感器工作正常，无安全威胁或异常行为。\",\n \"reasoning\": [\n \"推理步骤1: 卧室温度传感器每5分钟报告一次，数值从21.79°C平滑上升至约24.5°C，趋势与客厅、厨房同步，符合夏季凌晨到中午的自然升温或空调未开启的预期，无突变或故障迹象。\",\n \"推理步骤2: 卧室运动传感器在00:00至06:41期间持续为0（无人），06:41住户起床后检测到一次有人（06:46短暂报告1），之后住户离家（07:14门锁事件），运动传感器再次持续为0，且每半小时报告一次0状态，属于定时心跳报告，无异常。\",\n \"推理步骤3: 卧室灯在06:41打开、07:14关闭，窗帘在06:41开启到最大，所有操作时序与住户起床后离家行为一致，无异常。窗户传感器无事件（可能一直关闭），无泄漏或入侵迹象。\",\n \"推理步骤4: 未发现传感器数据缺失、值跳变、异常频繁报告或与其他设备状态冲突的模式，综合判断设备正常。\"\n ],\n \"key_evidence\": [\n \"关键证据1: 卧室温度平稳上升（21.79°C→24.5°C），全程无突变或超出正常范围。\",\n \"关键证据2: 运动传感器状态与住户行为同步：无人时持续为0，有人时短暂检测，住户离家后恢复为0，无虚假触发或未响应。\"\n ],\n \"recommended_actions\": [\n \"建议措施1: 保持现有传感器配置，无需处理。\",\n \"建议措施2: 如对室内温度舒适度有要求，可考虑开启空调或检查制冷系统。\"\n ]\n}", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "卧室区域传感器工作正常，无安全威胁或异常行为。", "reasoning": ["推理步骤1: 卧室温度传感器每5分钟报告一次，数值从21.79°C平滑上升至约24.5°C，趋势与客厅、厨房同步，符合夏季凌晨到中午的自然升温或空调未开启的预期，无突变或故障迹象。", "推理步骤2: 卧室运动传感器在00:00至06:41期间持续为0（无人），06:41住户起床后检测到一次有人（06:46短暂报告1），之后住户离家（07:14门锁事件），运动传感器再次持续为0，且每半小时报告一次0状态，属于定时心跳报告，无异常。", "推理步骤3: 卧室灯在06:41打开、07:14关闭，窗帘在06:41开启到最大，所有操作时序与住户起床后离家行为一致，无异常。窗户传感器无事件（可能一直关闭），无泄漏或入侵迹象。", "推理步骤4: 未发现传感器数据缺失、值跳变、异常频繁报告或与其他设备状态冲突的模式，综合判断设备正常。"], "key_evidence": ["关键证据1: 卧室温度平稳上升（21.79°C→24.5°C），全程无突变或超出正常范围。", "关键证据2: 运动传感器状态与住户行为同步：无人时持续为0，有人时短暂检测，住户离家后恢复为0，无虚假触发或未响应。"], "recommended_actions": ["建议措施1: 保持现有传感器配置，无需处理。", "建议措施2: 如对室内温度舒适度有要求，可考虑开启空调或检查制冷系统。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 21.91968035697937, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0102", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0102.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-09T00:00:00", "seed": 20260731, "scenario_id": "DF-01", "total_events": 1132, "anomaly_events_count": 5}, "ground_truth": {"scenario_id": "DF-01-FP", "scenario_name": "DF-01-FP: 空调恒温控制导致温度稳定", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "有微小波动（±0.2°C），不是完全固定值；且空调处于开启状态", "target_room": "living_room", "injection_time": "2026-06-09T14:44:00", "variant": "FP"}, "raw_response": "```json\n{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"living_room区域传感器工作正常，未发现安全威胁或异常情况。\",\n \"reasoning\": [\n \"客厅温度传感器在0:00至11:15期间持续稳定上报数值，从约22.7°C逐步上升至约25.4°C，符合夏季凌晨至上午自然升温规律，未出现突变或无效数据。\",\n \"客厅运动传感器每30分钟上报一次Occupancy=0，与住户行为一致：住户在6:15起床前一直在卧室，6:15-7:29在卧室和卫生间活动，7:29离家后家中无人，客厅始终无人，因此传感器正确反映无人状态。\",\n \"其他区域（卧室、厨房）温度同步上升，趋势一致，表明整体环境温度升高，并非局部异常。\",\n \"未出现传感器离线、通信超时或数值剧烈跳变等典型故障信号。\"\n ],\n \"key_evidence\": [\n \"客厅温度从22.7°C平稳上升至25.4°C，变化速率正常（约0.2°C/5分钟），无异常波动。\",\n \"客厅运动传感器持续报告Occupancy=0，且与其他房间（卧室、卫生间）有人状态的时间段完全不冲突。\",\n \"住户离家后（07:29之后）客厅温度仍维持在25.0-25.5°C，符合外部气温升高的预期。\"\n ],\n \"recommended_actions\": [\n \"继续常规监控，无需特殊处理。\",\n \"如夏季室内温度过高，可考虑启用空调或设置温度报警阈值（例如超过28°C时提醒）。\"\n ]\n}\n```", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "living_room区域传感器工作正常，未发现安全威胁或异常情况。", "reasoning": ["客厅温度传感器在0:00至11:15期间持续稳定上报数值，从约22.7°C逐步上升至约25.4°C，符合夏季凌晨至上午自然升温规律，未出现突变或无效数据。", "客厅运动传感器每30分钟上报一次Occupancy=0，与住户行为一致：住户在6:15起床前一直在卧室，6:15-7:29在卧室和卫生间活动，7:29离家后家中无人，客厅始终无人，因此传感器正确反映无人状态。", "其他区域（卧室、厨房）温度同步上升，趋势一致，表明整体环境温度升高，并非局部异常。", "未出现传感器离线、通信超时或数值剧烈跳变等典型故障信号。"], "key_evidence": ["客厅温度从22.7°C平稳上升至25.4°C，变化速率正常（约0.2°C/5分钟），无异常波动。", "客厅运动传感器持续报告Occupancy=0，且与其他房间（卧室、卫生间）有人状态的时间段完全不冲突。", "住户离家后（07:29之后）客厅温度仍维持在25.0-25.5°C，符合外部气温升高的预期。"], "recommended_actions": ["继续常规监控，无需特殊处理。", "如夏季室内温度过高，可考虑启用空调或设置温度报警阈值（例如超过28°C时提醒）。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 15.52103567123413, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0109", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0109.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-03T00:00:00", "seed": 20260738, "scenario_id": "DF-01", "total_events": 1127, "anomaly_events_count": 5}, "ground_truth": {"scenario_id": "DF-01-FP", "scenario_name": "DF-01-FP: 空调恒温控制导致温度稳定", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "有微小波动（±0.2°C），不是完全固定值；且空调处于开启状态", "target_room": "living_room", "injection_time": "2026-06-03T17:44:00", "variant": "FP"}, "raw_response": "{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"Living_room区域传感器工作正常，未发现异常模式\",\n \"reasoning\": [\n \"推理步骤1: 温度传感器每5分钟稳定上报，数值从22.62°C平滑上升至约25.5°C，符合夏季夜间空调关闭后自然升温规律，无突跳或缺失\",\n \"推理步骤2: 运动传感器每30分钟上报Occupancy=0，与整晚无人活动的实际情况一致（用户早上6:22才在卧室活动，7:20离家）\",\n \"推理步骤3: 所有上报时间戳严格对齐，无延迟或重复，表明传感器通信正常\"\n ],\n \"key_evidence\": [\n \"温度传感器在00:00至11:15间共135次上报，数据连续且变化趋势合理（最低22.62°C，最高25.57°C）\",\n \"运动传感器在00:00、00:30、01:00、01:30等整半点均上报Occupancy=0，与客厅实际无人状态一致\"\n ],\n \"recommended_actions\": [\n \"无需采取行动，living_room区域传感器工作正常\"\n ]\n}", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "Living_room区域传感器工作正常，未发现异常模式", "reasoning": ["推理步骤1: 温度传感器每5分钟稳定上报，数值从22.62°C平滑上升至约25.5°C，符合夏季夜间空调关闭后自然升温规律，无突跳或缺失", "推理步骤2: 运动传感器每30分钟上报Occupancy=0，与整晚无人活动的实际情况一致（用户早上6:22才在卧室活动，7:20离家）", "推理步骤3: 所有上报时间戳严格对齐，无延迟或重复，表明传感器通信正常"], "key_evidence": ["温度传感器在00:00至11:15间共135次上报，数据连续且变化趋势合理（最低22.62°C，最高25.57°C）", "运动传感器在00:00、00:30、01:00、01:30等整半点均上报Occupancy=0，与客厅实际无人状态一致"], "recommended_actions": ["无需采取行动，living_room区域传感器工作正常"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 3, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 14.26718544960022, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0113", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0113.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-09T00:00:00", "seed": 20260742, "scenario_id": "DF-01", "total_events": 1123, "anomaly_events_count": 5}, "ground_truth": {"scenario_id": "DF-01-FP", "scenario_name": "DF-01-FP: 空调恒温控制导致温度稳定", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "有微小波动（±0.2°C），不是完全固定值；且空调处于开启状态", "target_room": "bedroom", "injection_time": "2026-06-09T15:24:00", "variant": "FP"}, "raw_response": "{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"卧室区域传感器工作状态正常，未发现安全威胁或设备故障。\",\n \"reasoning\": [\n \"推理步骤1: 温度传感器每5分钟稳定上报，数值从凌晨约21.65°C缓慢上升至上午约24.5°C，与客厅、厨房温度变化趋势一致，符合夏季清晨自然升温或空调关闭后的环境特征，无异常跳变。\",\n \"推理步骤2: 运动传感器在凌晨至06:27前持续为0（无人状态），06:27住户起床后短暂占用卧室（occupancy=1），随后离开（06:33变为0），之后住户活动转移至卫生间、厨房，并于07:13外出（门锁手动解锁后自动上锁），因此后续卧室occupancy持续为0是正常行为。\",\n \"推理步骤3: 窗户接触传感器无事件报告，说明窗户保持关闭状态（与住户外出时通常关窗一致）；窗帘在06:27被操作一次，是起床后的正常行为。\",\n \"推理步骤4: 所有设备事件时间戳连续，无数据缺失或通信故障，传感器工作逻辑一致，不存在异常模式。\"\n ],\n \"key_evidence\": [\n \"关键证据1: 卧室温度从21.65°C线性上升至约24.5°C，与客厅、厨房温度同步变化，无孤立高温或骤变。\",\n \"关键证据2: 运动传感器在住户起床后（06:27）正确检测到占用，并在住户离开卧室后（06:33）准确切换为无人，后续配合门锁事件确认住户外出，传感器响应符合实际行为。\"\n ],\n \"recommended_actions\": [\n \"建议措施1: 继续维持当前传感器配置，无需特别干预。\",\n \"建议措施2: 定期检查传感器电池和网络连接，确保长期稳定运行。\"\n ]\n}", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "卧室区域传感器工作状态正常，未发现安全威胁或设备故障。", "reasoning": ["推理步骤1: 温度传感器每5分钟稳定上报，数值从凌晨约21.65°C缓慢上升至上午约24.5°C，与客厅、厨房温度变化趋势一致，符合夏季清晨自然升温或空调关闭后的环境特征，无异常跳变。", "推理步骤2: 运动传感器在凌晨至06:27前持续为0（无人状态），06:27住户起床后短暂占用卧室（occupancy=1），随后离开（06:33变为0），之后住户活动转移至卫生间、厨房，并于07:13外出（门锁手动解锁后自动上锁），因此后续卧室occupancy持续为0是正常行为。", "推理步骤3: 窗户接触传感器无事件报告，说明窗户保持关闭状态（与住户外出时通常关窗一致）；窗帘在06:27被操作一次，是起床后的正常行为。", "推理步骤4: 所有设备事件时间戳连续，无数据缺失或通信故障，传感器工作逻辑一致，不存在异常模式。"], "key_evidence": ["关键证据1: 卧室温度从21.65°C线性上升至约24.5°C，与客厅、厨房温度同步变化，无孤立高温或骤变。", "关键证据2: 运动传感器在住户起床后（06:27）正确检测到占用，并在住户离开卧室后（06:33）准确切换为无人，后续配合门锁事件确认住户外出，传感器响应符合实际行为。"], "recommended_actions": ["建议措施1: 继续维持当前传感器配置，无需特别干预。", "建议措施2: 定期检查传感器电池和网络连接，确保长期稳定运行。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 21.804529666900635, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0118", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0118.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-26T00:00:00", "seed": 20260747, "scenario_id": "DF-01", "total_events": 1279, "anomaly_events_count": 5}, "ground_truth": {"scenario_id": "DF-01-FP", "scenario_name": "DF-01-FP: 空调恒温控制导致温度稳定", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "有微小波动（±0.2°C），不是完全固定值；且空调处于开启状态", "target_room": "living_room", "injection_time": "2026-06-26T18:13:00", "variant": "FP"}, "raw_response": "{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"living_room区域的传感器工作正常，温度与运动检测均符合无人状态下的预期表现。\",\n \"reasoning\": [\n \"living_room_temp_sensor的温度读数从午夜22.79°C逐渐上升至早晨约25.5°C，变化平滑连续，无跳变或异常峰值，符合夏季自然升温或室内设备（如空调）的典型曲线。\",\n \"living_room_occupancy传感器在整个时间段内持续报告0（无人），而同时段卧室和卫生间在早晨出现人员活动，说明住户确实未在客厅活动，传感器输出与逻辑一致。\",\n \"其他房间（厨房、卧室）的温度同步上升，趋势与living_room类似，进一步印证温度传感器读数可信，无硬件故障或通信异常。\",\n \"日志中未出现传感器掉线、数据缺失或异常值（如突然跳至0或超高值），表明数据采集正常。\"\n ],\n \"key_evidence\": [\n \"living_room_temp_sensor从22.79°C平稳上升至25.5°C，25分钟内变化不超过0.1°C级别。\",\n \"所有30分钟一次的occupancy报告均为0，而住户在06:25后活跃于卫生间和卧室。\"\n ],\n \"recommended_actions\": [\n \"继续保持现有监控，无需特别干预。\",\n \"若夏季室内温度持续超过28°C，可考虑检查空调是否正常运行。\"\n ]\n}", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "living_room区域的传感器工作正常，温度与运动检测均符合无人状态下的预期表现。", "reasoning": ["living_room_temp_sensor的温度读数从午夜22.79°C逐渐上升至早晨约25.5°C，变化平滑连续，无跳变或异常峰值，符合夏季自然升温或室内设备（如空调）的典型曲线。", "living_room_occupancy传感器在整个时间段内持续报告0（无人），而同时段卧室和卫生间在早晨出现人员活动，说明住户确实未在客厅活动，传感器输出与逻辑一致。", "其他房间（厨房、卧室）的温度同步上升，趋势与living_room类似，进一步印证温度传感器读数可信，无硬件故障或通信异常。", "日志中未出现传感器掉线、数据缺失或异常值（如突然跳至0或超高值），表明数据采集正常。"], "key_evidence": ["living_room_temp_sensor从22.79°C平稳上升至25.5°C，25分钟内变化不超过0.1°C级别。", "所有30分钟一次的occupancy报告均为0，而住户在06:25后活跃于卫生间和卧室。"], "recommended_actions": ["继续保持现有监控，无需特别干预。", "若夏季室内温度持续超过28°C，可考虑检查空调是否正常运行。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 13.010080099105835, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0119", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0119.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-01T00:00:00", "seed": 20260748, "scenario_id": "DF-03", "total_events": 1129, "anomaly_events_count": 4}, "ground_truth": {"scenario_id": "DF-03-FP", "scenario_name": "DF-03-FP: 宠物活动", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "触发间隔不规律（不是周期性的），且频率较低（几分钟一次不是几十秒一次）", "target_room": "bedroom", "injection_time": "2026-06-01T06:42:00", "variant": "FP"}, "raw_response": "{\n \"is_anomaly\": false,\n \"confidence\": \"high\",\n \"threat_type\": \"none\",\n \"threat_description\": \"卧室区域传感器工作正常，无安全威胁\",\n \"reasoning\": [\n \"推理步骤1: 卧室温度传感器数值从凌晨的21.68°C平缓上升至上午的24.52°C，变化趋势与自然升温及住户活动（开灯、开窗帘、频繁进出）一致，未出现剧烈波动或跳变，读数稳定。\",\n \"推理步骤2: 卧室 occupancy 传感器在凌晨长时间保持0（无人），早晨06:23后出现规律性切换，与住户起床、前往卫生间、返回卧室等行为模式吻合，未出现无人时误报有人或持续错误状态。\",\n \"推理步骤3: 其他设备（卧室灯、窗帘、门锁）的联动事件支持了住户的正常作息，说明传感器数据是真实反映住户行为，而非故障信号。\"\n ],\n \"key_evidence\": [\n \"关键证据1: 卧室温度从凌晨21.68°C到上午24.52°C的平缓上升，超过10小时内变化<3°C，无异常尖峰或突变。\",\n \"关键证据2: 卧室 occupancy 在06:23首次触发后，与 bathroom_occupancy、bedroom_light 等设备联动，模式完全符合清晨洗漱、来回走动的正常场景。\"\n ],\n \"recommended_actions\": [\n \"建议措施1: 无需采取任何措施，当前传感器状态正常。\",\n \"建议措施2: 可考虑定期（如每月）检查传感器电池电量及固件更新，保持设备长期稳定。\"\n ]\n}", "model_response": {"is_anomaly": false, "confidence": "high", "threat_type": "none", "threat_description": "卧室区域传感器工作正常，无安全威胁", "reasoning": ["推理步骤1: 卧室温度传感器数值从凌晨的21.68°C平缓上升至上午的24.52°C，变化趋势与自然升温及住户活动（开灯、开窗帘、频繁进出）一致，未出现剧烈波动或跳变，读数稳定。", "推理步骤2: 卧室 occupancy 传感器在凌晨长时间保持0（无人），早晨06:23后出现规律性切换，与住户起床、前往卫生间、返回卧室等行为模式吻合，未出现无人时误报有人或持续错误状态。", "推理步骤3: 其他设备（卧室灯、窗帘、门锁）的联动事件支持了住户的正常作息，说明传感器数据是真实反映住户行为，而非故障信号。"], "key_evidence": ["关键证据1: 卧室温度从凌晨21.68°C到上午24.52°C的平缓上升，超过10小时内变化<3°C，无异常尖峰或突变。", "关键证据2: 卧室 occupancy 在06:23首次触发后，与 bathroom_occupancy、bedroom_light 等设备联动，模式完全符合清晨洗漱、来回走动的正常场景。"], "recommended_actions": ["建议措施1: 无需采取任何措施，当前传感器状态正常。", "建议措施2: 可考虑定期（如每月）检查传感器电池电量及固件更新，保持设备长期稳定。"]}, "scores": {"parse_success": true, "detection_correct": true, "detection_label": "CORRECT_REJECT", "is_miss": false, "is_false_alarm": false, "threat_type_correct": null, "reasoning_steps": 3, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 14.016311407089233, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0120", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0120.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-08T00:00:00", "seed": 20260749, "scenario_id": "DF-03", "total_events": 1274, "anomaly_events_count": 4}, "ground_truth": {"scenario_id": "DF-03-FP", "scenario_name": "DF-03-FP: 宠物活动", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "触发间隔不规律（不是周期性的），且频率较低（几分钟一次不是几十秒一次）", "target_room": "bedroom", "injection_time": "2026-06-08T13:12:00", "variant": "FP"}, "raw_response": "```json\n{\n \"is_anomaly\": true,\n \"confidence\": \"high\",\n \"threat_type\": \"device_fault\",\n \"threat_description\": \"卧室 occupancy 传感器在住户离家后持续报告有人，疑似传感器故障（卡死或误报）。\",\n \"reasoning\": [\n \"推理步骤1: 凌晨至早上6:40，所有 occupancy 传感器均为0，符合无人状态；6:41后住户开始活动（卫生间开灯、卧室开灯、窗帘升起等），符合正常起居。\",\n \"推理步骤2: 7:18住户通过手动解锁门锁、开门后自动上锁，明确表明离家外出。此后门传感器无再次开启记录，且入户门一直处于关闭上锁状态。\",\n \"推理步骤3: 然而从7:23开始，卧室 occupancy 传感器每3-5分钟持续报告 Occupancy=1，直至日志结束（10:30后仍有数据），与无人状态严重矛盾，表明传感器输出异常。\",\n \"推理步骤4: 温度传感器数据（客厅、卧室、厨房）同步持续上升（从22°C升至25.5°C），可能由室外温度升高或空调未开启导致，属于正常环境变化，与 occupancy 故障无直接关联。\"\n ],\n \"key_evidence\": [\n \"关键证据1: 7:18:13 入户门手动解锁 → 7:18:15 门开（contact state false） → 7:18:16 门自动上锁，住户离家。\",\n \"关键证据2: 7:23至10:30及之后，卧室 occupancy 传感器每3-5分钟报告 Occupancy=1，而家中无人且门无再次开启记录。\"\n ],\n \"recommended_actions\": [\n \"建议措施1: 检查卧室 occupancy 传感器物理状态（是否被遮挡、松动或电池电量不足），尝试重启或重新配对。\",\n \"建议措施2: 若传感器持续误报，考虑更换该设备，并临时禁用基于该传感器的自动化规则（如自动关灯等），避免能源浪费或误触发安防告警。\"\n ]\n}\n```", "model_response": {"is_anomaly": true, "confidence": "high", "threat_type": "device_fault", "threat_description": "卧室 occupancy 传感器在住户离家后持续报告有人，疑似传感器故障（卡死或误报）。", "reasoning": ["推理步骤1: 凌晨至早上6:40，所有 occupancy 传感器均为0，符合无人状态；6:41后住户开始活动（卫生间开灯、卧室开灯、窗帘升起等），符合正常起居。", "推理步骤2: 7:18住户通过手动解锁门锁、开门后自动上锁，明确表明离家外出。此后门传感器无再次开启记录，且入户门一直处于关闭上锁状态。", "推理步骤3: 然而从7:23开始，卧室 occupancy 传感器每3-5分钟持续报告 Occupancy=1，直至日志结束（10:30后仍有数据），与无人状态严重矛盾，表明传感器输出异常。", "推理步骤4: 温度传感器数据（客厅、卧室、厨房）同步持续上升（从22°C升至25.5°C），可能由室外温度升高或空调未开启导致，属于正常环境变化，与 occupancy 故障无直接关联。"], "key_evidence": ["关键证据1: 7:18:13 入户门手动解锁 → 7:18:15 门开（contact state false） → 7:18:16 门自动上锁，住户离家。", "关键证据2: 7:23至10:30及之后，卧室 occupancy 传感器每3-5分钟报告 Occupancy=1，而家中无人且门无再次开启记录。"], "recommended_actions": ["建议措施1: 检查卧室 occupancy 传感器物理状态（是否被遮挡、松动或电池电量不足），尝试重启或重新配对。", "建议措施2: 若传感器持续误报，考虑更换该设备，并临时禁用基于该传感器的自动化规则（如自动关灯等），避免能源浪费或误触发安防告警。"]}, "scores": {"parse_success": true, "detection_correct": false, "detection_label": "FALSE_ALARM", "is_miss": false, "is_false_alarm": true, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 14.660061120986938, "api_error": null}
|
||
{"episode_id": "SQ1_FP_A_0125", "episode_path": "C:\\Users\\Wal1et\\Downloads\\llmiotsafe\\data\\benchmark\\sq1\\SQ1_FP_A_0125.json", "metadata": {"sq_type": "SQ1", "sq_name": "设备健康诊断", "variant": "FP", "layout_id": "A", "layout_name": "一室一厅 (Studio/1BR)", "profile_id": "young_professional", "base_date": "2026-06-22T00:00:00", "seed": 20260754, "scenario_id": "DF-03", "total_events": 1276, "anomaly_events_count": 4}, "ground_truth": {"scenario_id": "DF-03-FP", "scenario_name": "DF-03-FP: 宠物活动", "category": "device_fault", "is_anomaly": false, "threat_type": "none", "key_difference": "触发间隔不规律（不是周期性的），且频率较低（几分钟一次不是几十秒一次）", "target_room": "bedroom", "injection_time": "2026-06-22T13:09:00", "variant": "FP"}, "raw_response": "```json\n{\n \"is_anomaly\": true,\n \"confidence\": \"high\",\n \"threat_type\": \"device_fault\",\n \"threat_description\": \"卧室 occupancy 传感器在住户离家后持续报告有人的状态，疑似传感器故障（卡在高电平）。\",\n \"reasoning\": [\n \"步骤1: 根据门锁和门磁事件，住户于07:26:16手动解锁并开门，随即自动上锁，符合正常离家模式。\",\n \"步骤2: 离家后，卧室 occupancy 传感器从07:31到日志末尾（10:00之后）一直报告1，从未变回0，而其他所有 occupancy 传感器（客厅、浴室）在此期间均保持0。\",\n \"步骤3: 正常行为下，无人居住时 occupancy 应报告0，持续数小时的激活状态不符合物理规律，且没有伴随任何其他触发器（如灯、窗帘再次操作），因此高度怀疑传感器硬件故障或通信卡死。\",\n \"步骤4: 温度传感器读数呈缓慢上升趋势，符合夏季白天自然升温，且厨房、客厅温度同步变化，无异常峰值，排除火灾或热源异常。\"\n ],\n \"key_evidence\": [\n \"07:26 用户离家后，bedroom_occupancy 从07:31至10:00+始终为1，而 bathroom_occupancy 和 living_room_occupancy 同期均为0。\",\n \"卧室室内无其他人员活动迹象（灯未再开、窗帘未动、门锁无再次操作），传感器持续激活不合理。\"\n ],\n \"recommended_actions\": [\n \"1. 立即检查卧室 occupancy 传感器的物理状态，确认是否被物体遮挡或积灰，尝试断电重启。\",\n \"2. 若重启后仍异常，考虑更换传感器或更新固件，避免因误报导致自动化规则失效（如误判有人而开启空调/警报）。\",\n \"3. 临时在自动化逻辑中增加交叉验证：若 door_lock 显示离家状态且其他区域无 occupancy，可将卧室 occupancy 的持续高电平视为无效。\"\n ]\n}\n```", "model_response": {"is_anomaly": true, "confidence": "high", "threat_type": "device_fault", "threat_description": "卧室 occupancy 传感器在住户离家后持续报告有人的状态，疑似传感器故障（卡在高电平）。", "reasoning": ["步骤1: 根据门锁和门磁事件，住户于07:26:16手动解锁并开门，随即自动上锁，符合正常离家模式。", "步骤2: 离家后，卧室 occupancy 传感器从07:31到日志末尾（10:00之后）一直报告1，从未变回0，而其他所有 occupancy 传感器（客厅、浴室）在此期间均保持0。", "步骤3: 正常行为下，无人居住时 occupancy 应报告0，持续数小时的激活状态不符合物理规律，且没有伴随任何其他触发器（如灯、窗帘再次操作），因此高度怀疑传感器硬件故障或通信卡死。", "步骤4: 温度传感器读数呈缓慢上升趋势，符合夏季白天自然升温，且厨房、客厅温度同步变化，无异常峰值，排除火灾或热源异常。"], "key_evidence": ["07:26 用户离家后，bedroom_occupancy 从07:31至10:00+始终为1，而 bathroom_occupancy 和 living_room_occupancy 同期均为0。", "卧室室内无其他人员活动迹象（灯未再开、窗帘未动、门锁无再次操作），传感器持续激活不合理。"], "recommended_actions": ["1. 立即检查卧室 occupancy 传感器的物理状态，确认是否被物体遮挡或积灰，尝试断电重启。", "2. 若重启后仍异常，考虑更换传感器或更新固件，避免因误报导致自动化规则失效（如误判有人而开启空调/警报）。", "3. 临时在自动化逻辑中增加交叉验证：若 door_lock 显示离家状态且其他区域无 occupancy，可将卧室 occupancy 的持续高电平视为无效。"]}, "scores": {"parse_success": true, "detection_correct": false, "detection_label": "FALSE_ALARM", "is_miss": false, "is_false_alarm": true, "threat_type_correct": null, "reasoning_steps": 4, "has_evidence": true, "has_actions": true, "confidence": "high"}, "latency": 24.21929931640625, "api_error": null}
|