智能制造的核心是通过数据驱动的模型和决策，来实现预测性维护、工艺优化、智能质检、能源管理、供应链管理等任务。上海科技大学创意与艺术学院智造系统工程中心武颖娜课题组聚焦工业场景下的产品智能质检系统，针对产品信息捕捉不全、功能异常无法识别等自动化质检的痛点问题，构建了基于多传感器融合、动态交互进行异常推理判断的智能系统，并于近日公开了针对工业场景下异常检测任务的首个多模态数据集MulSen-AD和首个视频数据集Phys-AD。相关的两篇文章同时被IEEE国际计算机视觉与模式识别会议（IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2025）接收。
多传感器目标异常检测：外观、几何与内部属性的统一表征
针对单一传感器在同时捕捉产品外观、尺寸、内部属性等信息时存在显著局限性的问题，课题组提出了基于多传感器融合的工业异常检测方法。为了获得产品的全面信息，建立了首个面向工业应用的高分辨率、多模态异常检测数据集MulSen-AD（Multi-Sensor Anomaly Detection）。针对15种产品类别，设计了孔洞、折痕、异物、划伤、折弯、内部裂纹等14种真实缺陷，共计2035个样本；通过RGB图像、三维点云、红外图像三种形式的数据分别呈现产品的外观缺陷、几何变形以及内部浅表损伤等异常。本研究还提出了融合多传感器数据的决策级融合算法MulSen-TripleAD，结合 RGB 纹理、红外热信号和 3D 点云信息，在无监督异常检测任务中取得了当前最好的性能，为现有复杂工业异常检测任务提供了新的研究思路。该成果以 “Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties” 为题，被 CVPR 2025会议接收。
基于决策层融合的多传感器异常检测网络
上海科技大学为第一完成单位，2022级硕士研究生李文峤、2023级硕士研究生郑博中、密歇根大学徐晓豪为共同第一作者，武颖娜研究员与高盛华教授为共同通讯作者。
arxiv链接: https://arxiv.org/abs/2412.14592
数据集链接：https://huggingface.co/datasets/orgjy314159/MulSen_AD
面向真实世界物理动态的视觉理解与推理：基于物理先验的异常检测
针对工业异常检测算法大多依赖于静态、语义简单的数据集，难以识别产品功能异常的问题，课题组提出了首个大规模、交互驱动的工业异常检测视频数据集Phys-AD（Physics Anomaly Detection），旨在提升算法基于物理先验知识来理解、推理和判断功能异常的能力。通过机械臂、电机等与产品进行交互，设计并采集了6400个视频；针对22种产品类别，设计了机械故障、运动异常等47种功能异常的场景。Phys-AD的任务更强调视觉推理，要求算法结合物理先验知识与视频内容，判断产品是否存在功能异常。在进行基准测试的同时，本研究还引入 PAEval 评测指标，衡量算法在检测异常的同时解释其物理原因的能力，推动异常检测算法向更具物理推理能力的方向发展。该成果以“Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection”为题，被CVPR 2025会议接收。
基于物理先验的物体异常检测类人决策过程
Phys-AD视频数据集
上海科技大学为第一完成单位，2022级硕士研究生李文峤、2023级硕士研究生谷峣、2024级硕士研究生陈鑫涛为共同第一作者，武颖娜研究员为通讯作者。
arxiv链接: https://arxiv.org/pdf/2503.03562
沪公网安备 31011502006855号