您所在的位置:黄丰网>科技>文章

首个镜子分割网络问世,大连理工、鹏城实验室、香港城大出品
  • 2019-10-22 20:04:37
  • 来源:黄丰网
  • 责任编辑:admin
  • 甘明来自奥菲神庙

    量子位报告

    镜子里的人是人吗?对于计算机视觉系统:是的。

    大多数系统也没有考虑镜像因素,因此很难清楚地区分镜中人。

    镜子作为日常生活中非常重要的物品无处不在。它们不仅能反射光线,还能呈现周围物体或场景的镜像。

    这导致计算机视觉系统或机器人一旦遇到带镜子的场景,其性能将会大大降低,这可以说是一个祸害。

    我该怎么办?大连理工大学、鹏程实验室和香港城市大学的研究小组提出了一种方法。

    他们发表了一篇名为《我的镜子在哪里》的文章?本文已被iccv2019收录。

    本文构建了一个大规模的镜像数据集,并提出了一种从输入图像中分割镜像的新方法。

    不仅可以准确识别和分割场景中的镜子,还可以消除镜子反射造成的对场景的错误理解,并且可以帮助一些计算机视觉任务(例如深度估计和目标检测)提高鲁棒性。

    他们说这是解决镜像分割问题的第一种方法。大量实验表明,该算法的性能优于最先进的检测和分割方法。

    未来,他们的目标是检测出现在城市街道上的镜子,这有助于户外视觉任务,如自动驾驶和无人驾驶飞行器导航。

    我的镜子在哪里?

    对于计算机视觉系统,镜子反射的内容与镜子外的内容(即周围环境)非常相似,很难区分,更不用说镜子与背景的自动分割了。

    从这个角度来看,这个系统不如其他系统。大多数人通常能很好地探测到镜子的存在。

    向人学习已成为本文的切入点。研究人员观察到,当人们识别镜像中的内容时,他们通常从边界开始观察它的不连续性。

    因此,这个问题的直接解决方案是使用低级特征,例如颜色和纹理变化,来检测镜面边界。

    但是,如果镜子前面有一个对象,此方法将不起作用,例如:

    仅通过检测镜子的边界很难将物体的反射与物体本身分开,并且分割也需要语义含义,即上下文对比信息。

    在此基础上,研究者从数据和神经网络两个方面解决了镜像分割问题。

    自建数据集

    因为这个领域以前没有受到太多关注,所以自然没有可用的数据集。

    所以他们自己做了,并创建了数据集msd,其中包含4018对带有镜子和相应手动注释的掩模图像。

    其中,3677个来自室内场景,341个来自室外场景,基本涵盖了镜子在生活中经常出现的场景:梳妆台、装饰品、浴室、道路镜、卧室、办公室、花园、街道和停车场。

    最后,3063幅图像用于训练,955幅图像用于测试。

    我如何找到镜子?

    本文提出的mirrornet体系结构以单个图像为输入,通过特征提取网络(fen)提取多层特征。

    然后,将最深且语义丰富的特征输入到所提出的上下文对比特征提取(ccfe)模块中,以学习上下文对比特征,并且通过检测出现对比的边界线并使用初始粗糙镜分割图来定位镜。

    该镜像分割图用作注意图,以抑制非镜像区域上层的fen特征的特征噪声,使得上层能够集中学习候选镜像区域的区别特征。

    通过这种方式,mirrornet逐渐使用上下文对比信息将镜像区域从粗糙细化到精细。最后,对最粗糙的网络输出进行上采样,以获得原始图像分辨率作为输出。

    镜子在这里。

    自建数据集提出的镜像网有什么影响?

    研究者使用相关领域常用的五个度量标准(即语义分割、显著目标检测和阴影检测)来定量评价镜像分割的性能。

    比较对象也是目标分割领域的高级模型,如maskrnn、r3net等。

    从这些指标来看,mirrornet表现最好。

    南北合作

    本文来自大连理工大学、鹏程实验室和香港城市大学。这是一项跨越南北的合作。

    有两位第一作者,杨鑫和梅海阳。

    杨鑫,副教授,博士生导师,大连理工大学计算机学院学科办公室建设副主任。他毕业于吉林大学计算机科学学院,并获得浙江大学计算机科学学院戴维斯分校工程博士学位。他是香港城市大学的博士后研究员。

    大连理工大学博士生梅海阳也毕业于大连理工大学。研究兴趣包括图像处理、计算机视觉和深入学习。

    梅海阳说,他的团队花了一年半的时间围绕镜子进行研究,找出问题,制作数据集,设计模型和优化模型。iccv2019最终收到了研究结果。

    接下来的研究将集中在城市间建筑表面的镜子上,以进一步扩展问题,减轻镜子对各种场景下其他视觉任务的影响,提高应用价值。

    最后,梅海阳表示,本次研究的数据集和代码将是开源的,希望广大研究人员能够加入到这个问题的研究中来~

    如果您对这项研究感兴趣,请关闭门户:

    https://mhaiyang.github.io/iccv2019_mirrornet/index.html

    -完毕-

    真诚的招聘

    量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

    量子位qbitai

    跟踪人工智能技术和产品的新发展

    大家爱看

    热门推荐

    栏目热门

    关于我们  |  About us  |  联系我们  |  广告服务  |  法律声明  |  招聘信息  |  留言反馈
    本网站所刊载信息,不代表黄丰网的观点。 刊用本网站稿件,务经书面授权。
    未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。
    本站域名:http://www.q1tfjy.com