基于图像+肌电的驾驶行为远程监测与智能分析平台

发布者:柳鑫发布时间:2021-09-07浏览次数:1137

成果简介:

综合介绍:

目前的驾驶行为分析绝大多数解决方案是基于视频的,容易产生误报和漏报问题。本项目采用多模态数据协同感知的驾驶行为识别技术,基于深度学习GRU网络,融合超声波、图像和肌电信号,识别驾驶员行为;通过驾驶员的行为分析,提醒与记录驾驶员危险驾驶行为;长期监控驾驶员行为,作为驾驶安全(公共交通驾驶员等)的评价指标。多模态数据协同感知有效提高了驾驶行为识别的准确性。


创新要点:

1)将AI与边缘智能相结合,基于多模态情境感知,采集肌电、视频、等多模态数据进行推理分析,使边缘终端设备更智能化,增加了智能化系统的可靠性。

2)结合多样信息处理技术,获取不同行为原始信号的差异特征,去除冗余信息,减少模型训练的困难。 

3)兼顾物联网系统的完整性:物联网应用系统包含了用户程序、云服务器、Web网页程序、移动应用app等等。Web管理平台方便观察整个公交系统运行实况。 

4)与传统的视频检测或其他单一方法不同,本作品提出了融合可穿戴手表/环和肌电信号的方法,不仅不影响驾驶员驾驶而且减少对环境的敏感度的同时进一步提高检测准确率。


技术指标:

1)深度学习属于端到端的学习,数据输入进去就可以得到结果,方便快捷; 

2)用户交互友好,大数据展示的web页面,简洁美观地呈现公交系统、驾驶实况;

3)不用手工设计规则,深度学习可以尽可能的优化损失函数去学习规则,可以尽可能的挖掘数据潜在特征。


其他说明:

面向公共交通的驾驶行为智能监测与分析平台: http://1.15.128.132:9519/htmlfan/index.html