随着物联网和5G的崛起，智能家居设备，特别是智能门锁，为生活带来便利，但也带来了PIN码泄露的安全隐患。攻击者可通过视频侧信道攻击分析PIN码。本文提出一种分析方案，结合关键点检测、滤波器和计算机视觉技术，旨在增强智能门锁的安全性。如图1所示，该方案分为四个主要模块：解锁过程片段识别模块、肘关节位置识别与优化模块、按键动态识别模块以及PIN码序列计算模块。方案可以分为以下步骤：1、通过监控设备获取用户解锁智能门锁的视频。2、利用关键点检测模块，通过肘关节弯曲角度定位视频中的解锁起始和结束帧。3、对肘关节进行目标追踪，结合椭圆曲线拟合和SG滤波器优化肘关节的运动轨迹。4、动态识别按键位置，通过计算肘关节的移动速度确定其位置。5、生成肘关节的移动序列，并映射到二维坐标中。6、根据智能门锁的输入模式，计算可能的键盘布局。7、结合键盘布局和肘关节移动序列，输出可能的PIN码序列。

图1 智能门锁PIN码认证机制分析方案架构

为验证本文方案的优越性，召集了10名受试者，采用常见长度的PIN码供受试者自由选择。如表1所示，本文所提方案在2米时，准确率与方案[1]持平，但弱于人眼直接观察的方案，在2米时，仅弱于方案[2]。如图2表明，不论是随着距离变化，基于智能门铃的识别效果均好于监控摄像头。随着PIN码长度的变化的结果见论文。总体而言，本文评估智能门锁PIN码安全性，引入OpenPose模型和SG滤波器进行自动化分析。实验显示，基于视频的侧信道攻击在常用社交距离内有86.6%的准确率，中等距离有50%以上准确率。

表1 与其他方案正确率对比

图2 设备在不同距离的识别结果

参考文献

[1] 昝晓勇. 基于计算机视觉的PIN锁屏密码破解机制研究[D].西安: 西安电子科技大学, 2022.

[2] Shukla D, Phoha V V. Stealing passwords by observing hands movement[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(12): 3086-3101.

论文信息

郭振洋 , 闵静怡 , 闫皓 , 曹进 , 李晖. 基于视频侧信道的智能门锁PIN码分析机制[J]. 网络空间安全科学学报, 2023, 1(1): 106-117.

GUO Zhenyang , MIN Jingyi , YAN Hao , CAO Jin , LI Hui. PIN Code Analysis Mechanism of Intelligent Door Lock Based on Video Side Channel[J]. Journal of Cybersecurity, 2023, 1(1): 106-117.

http://www.journalofcybersec.com/CN/Y2023/V1/I1/106

供稿：郭振洋、曹进，西安电子科技大学网络与信息安全学院

声明：本文来自隐者联盟，版权归作者所有。文章内容仅代表作者独立观点，不代表士冗科技立场，转载目的在于传递更多信息。如有侵权，请联系 service@expshell.com。