“苏集创”苏州大学创新成果推介(9)——面向视觉场景中目标检测与识别的智能信息处理

发布者:柳鑫发布时间:2022-07-02浏览次数:420

“苏集创”是依托苏州大学国家技术转移中心(苏州大学知识产权运营中心),紧密围绕苏州产业创新集群布局,以苏州大学等国内外知名高校、科研院所、技术创新中心的集成创新成果为标的,构建科技、产业、资本深度融合的成果发布平台。


本期向大家推介的是苏州大学计算机科学与技术学院(软件学院)刘纯平教授团队的项目:《面向视觉场景中目标检测与识别的智能信息处理》


刘纯平 教授

苏州大学计算机科学与技术学院(软件学院)

副院长,教授,博士生导师

目前主要研究方向:图像与视频大数据下的处理与分析、场景理解(image or video captioning, visual question answering)计算机视觉、多源信息融合处理、深度学习、模式识别等。


《面向视觉场景中目标检测与识别的智能信息处理》

应用产业领域:电子信息

技术成熟度:小批量生产

专利情况:已授权专利三项


成果简介

苏州大学视觉目标检测与识别智能信息处理是能处理视频和图像形态下的视觉大数据,精准检测视觉场景中运动目标和显著目标,结合识别以及视觉场景内容深层理解,构建场景图,自动生成视觉场景内容的文本描述,以支持各种应用需求。系统可以处理不同视觉场景,比如智能交通场景、工业智能制造场景等。把计算机视觉技术(CV)和自然语言处理(NLP)技术相结合,从视觉场景中提取需要目标等相关信息,生成符合人类理解的自然语言描述。基于技术研究,我们搭建了运动目标检测、显著目标检测、场景内容理解以及视觉内容自然语言描述系统。能够对给定的视觉场景,进行异常检测,基于语义的视觉内容检索等服务。


▲基于视觉内容深层理解的智能信息处理


创新要点

1)可在不同环境下进行目标及显著目标检测与识别。

2)能对视觉场景内容深层理解,以结构化的场景图描述视觉内容。

3)能自动生成视觉场景内容的文本描述。

4)能实现基于语义的视觉大数据内容检索和存储。

5)能应用于视觉大数据的分析。


技术指标

1)目标、显著目标检测与识别正确率95%以上;

2)场景图生成正确率80%以上

3)自然语言描述视觉内容准确率80%以上;

4)基于语义的视觉大数据内容检索准确率85%以上。