会议程序

会议日程 主旨报告 特邀报告 PRCV & DICTA 2022联合论坛 专题论坛 女科学家论坛 讲习班 博士生论坛 录用论文/口头报告/学术海报展示
点击论坛跳转到相应位置
基于深度学习的影像增强

01

论坛简介、目的与意义


简介
图像视频信号是数字多媒体内容的主要载体,在日常分享交流中发挥着重要作用。由于受到软硬件条件的制约,在数字图像的采集、传输、压缩和存储等过程中,受到各个环节降质因素的影响,最终展现在播放终端的图像视频存在各种各样的降质。拍摄环境的不理想可能会导致图像视频光照偏暗或过亮、带噪音、包含雨雾与反光等。拍摄设备的限制,例如中低档手机自带相机和偏远地区部署的摄像头,导致拍摄到的图像视频分辨率低下。拍摄过程当中的镜头运动、物体运动和光学仪器造成了模糊。非专业摄影者在拍摄过程当中选取不适当的拍摄参数,也会造成图像视频质量的大幅下降。为了应对这些降质,提高终端用户的使用体验,并为后续计算机视觉处理任务提供更好的基础,亟待低质图像视频重建技术对降质图像视频进行增强处理。
随着深度学习的快速兴起,基于深度学习的方法已经变得流行并在不同应用中展现出卓越的性能。通过在大数据训练集上进行训练,深度网络方法学习到更具自适应性的影像增强先验,根据降质影像的信息,推断缺失的高质量影像信息。近期的一些研究工作以深度神经网络为基本研究工具,展开了一系列深入研究:
1) 以传统最大后验概率框架为出发点,构建先验嵌入的深度网络学习框架,通过多任务联合学习,使神经网络感知丰富的辅助先验信息。辅助先验包括手工设计传统先验,端到端学习先验,例如:对抗生成先验,和模型学习的本质不变约束。
2) 构建底层视觉网络可解释性建模,设计底层视觉的归因工具,分析增强网络对输入信息的有效利用情况,并对网络学习的先验信息类型进行深入探索,对模型功效进行分类,帮助研究者更有效地理解和设计增强,启发更多关于底层视觉的可解释性工作。
3) 探索将传统视觉模型与深度神经网络相结合,同时利用传统视觉特征的紧致性和鲁棒性特点以及深度学习特征的高效灵活特性,设计兼具上述优点的高效视觉增强模型与方法。
4) 关注已有影像增强方法的泛化性能,一方面基于CycleGAN经典思想构建利用非成对数据的弱监督模型训练方法,另一方面,利用数据的本质不变特性,例如:视频的相关性和一致性,构建自监督学习影像增强方法。
5) 探索评估增强效果的质量评估方法,一方面构建更加有效的质量评估方法,有效比较不同方法的增强效果,另一方面,构建更有效的反馈机制,将主观质量模型嵌入到增强模型的优化阶段,提升影像增强模型的实际主观质量。
本次讲习班将围绕“基于深度学习的影像增强”为核心展开讨论,介绍国内外一线的优秀学者在相关方面的研究进展和成果。
目的
讲者希望通过该讲习班使听众能够了解:1) 影像增强问题的定义及其背景介绍;2) 基于深度学习的影像增强的主要学习范式;3) 有关基于深度学习影像增强的重要技术进展;4) 基于深度学习影像增强的成功探索领域。
意义
在学术上,该讲习班可进一步增强听众对基于深度学习的影像增强领域的关注度及其技术理解;在应用上,该讲习班可普及深度学习的影像增强的研究进展,并在一定程度加速相应技术的落地应用。

02

论坛日程

03

论坛嘉宾

董超  报告嘉宾

中国科学院深圳先进技术研究院副研究员、博士生导师

嘉宾简介:董超,中国科学院深圳先进技术研究院副研究员,博士生导师。博士毕业于香港中文大学信息工程专业。2014年,在欧洲计算机视觉大会(ECCV)上发表论文SRCNN,首次将深度学习引入图像超分辨领域。2017年-2020年,多次带队参加国际超分辨率比赛,共获得9项冠军。2016年-2018年就职于商汤科技,带领商汤超分团队开发了世界首款基于深度学习的数码变焦软件。2021年被斯坦福大学评选为世界前2%顶尖科学家。2022年入选AI 2000全球最具影响力人工智能学者。谷歌引用量超过2万次。主要研究方向包括图像视频超分辨率,去噪和画质增强等。团队主页: http://xpixel.group/

报告题目:图像超分辨率网络的泛化性分析

报告摘要:基于深度学习的图像超分辨率(超分)方法已经在各种限定条件下取得了出色的性能,但在现实场景中的泛化能力往往差强人意。我们针对超分网络的泛化性开展了细致的分析和研究。首先,我们从可解释性的角度出发,将泛化能力进行可视化。通过将网络中间特征进行降维和聚类(DDR),可以直观的看到网络对不同类别图像的处理差异,并从中发现网络泛化性差的原因。进一步,我们将上述发现进行量化,提出了第一个超分网络的泛化性指标(SRGA)。该指标利用了网络深度特征的统计特性,测量了不同数据集间处理的空间差异,与图像质量评价指标形成了互补。最后,我们引入了一种简单的方法(Dropout),可以有效的提升超分网络的泛化性能,并利用可解释性工具进行了分析和验证。

杨欢  报告嘉宾

微软亚洲研究院主管研究员

嘉宾简介:杨欢,2019年于上海交通大学毕业获得博士学位,同年加入微软亚洲研究院,现任职主管研究员。其研究领域包括图像复原,图像生成,在相关领域有数篇文章发表于CVPR,ICCV,ECCV,NeurIPS,ACM MM,TVCG等多个顶级会议和期刊。个人主页: https://www.microsoft.com/en-us/research/people/huayan/

报告题目:底层视觉任务中的Transformer网络设计

报告摘要:近年来基于Transformer的网络设计在计算机视觉等多个领域取得了优秀的成果。本次报告主要聚焦于底层视觉任务中的Transformer网络设计,分析不同任务对于Transformer网络中的核心组件——注意力机制的设计需求,有针对性地提出相应的解决方案。涉及的任务主要包括图像视频修复,图像风格迁移以及图像生成等。

倪张凯  报告嘉宾

同济大学电子与信息工程学院计算机科学与技术系助理教授

嘉宾简介:倪张凯,博士,同济大学电子与信息工程学院计算机科学与技术系助理教授。2021年10月,毕业于香港城市大学计算机科学专业,获哲学博士。2017年7月-2018年7月,于新加坡南洋理工大学电气与电子工程学院进行助理研究员研究。2021年10月-2021年12月,于香港城市大学计算机科学系进行博士后研究。研究领域包括基于感知的图像/视频处理,图像/视频质量评价,图像/视频增强等。累积发表论文20余篇,其中第一作者发表CCF A类论文6篇,授权2项中国发明专利。获得2018年中国电子学会优秀硕士学位论文。个人主页: https://eezkni.github.io/

报告题目:基于非配对学习的图像增强技术研究

报告摘要:图像增强不仅可以提升图像的美学质量还可以为各种高级视觉任务丰富信息量和改善可理解性。目前深度学习在图像增强任务方面的成功往往依赖于大规模成对的训练数据,但是图像增强的成对训练数据的获取往往十分困难。本报告将介绍报告人在基于非配对训练数据图像增强方面的研究,包括基于单一生成对抗网络的图像美学质量增强,基于质量注意力的美学图像增强以及基于循环交互生成对抗网络的低光照图像增强,仅需非配对的训练数据获得性能优异的图像增强模型。

郭晓杰  报告嘉宾

天津大学智能与计算学部特聘研究员、长聘副教授、博士生导师

嘉宾简介:郭晓杰,天津大学智能与计算学部特聘研究员、长聘副教授,博士生导师、北洋骨干教师,吴文俊人工智能科技奖优秀青年奖获奖者、IEEE/CCF Senior Member。他担任CVPR 2022 AC,IJCAI 2021 SPC及20余个一区/CCF A类期刊和会议评审。研究方向包括计算机视觉和模式识别,取得一系列成果,不仅为高性能图像质量增强与模式分析提供了科学依据和有效方案,而且也有效提升了智能体多源信号融合、恶劣条件环境感知等智能视觉系统的精度与实时性。主持参与国家自然科学基金/科技部研发计划/CCF-腾讯犀牛鸟基金等10余项。迄今在国际权威期刊和会议上发表论文80余篇,曾获得国际模式识别协会Piero Zamperoni Best Student Paper奖1项,多媒体旗舰会议ICME Best Student Paper Runner-up奖2项,中国模式识别计算机视觉大会PRCV Best Student Paper Runner-up奖1项,被OpenCV平台技术集成1项。更多信息请访问:https://sites.google.com/view/xjguo

报告题目:图像分解与融合

报告摘要:单图像的信息分解及多图像的信息融合在诸多视觉任务中起到关键作用。本次报告将首先针对“由一生多”的病态问题,从层级图像剥离(Hierarchical Image Peeling)、层级元素解耦(Hierarchical Decoupling)、双流信息交互(Dual-stream Interaction )等多角度介绍如何对图像的信息进行有效分解,并通过反射去除、低照度增强、本征分解、边缘检测、显著性检测、人脸重渲染等任务上验证其有效性。另外,本报告将介绍无监督条件下对于多状态多模态的图像融合策略,在提升图像美观度的同时可为下游任务提供更丰富可靠的视觉输入。

杨文瀚 主持人

鹏城实验室副研究员

嘉宾简介:杨文瀚,博士,鹏城实验室副研究员,鹏城实验室“鲲鹏”拔尖人才。2018年7月,毕业于北京大学信息科学技术学院计算机应用技术专业,获理学博士。2019年3月-2021年3月,于香港城市大学计算机科学系进行博士后研究。2021年4月-2022年9月,于新加坡南洋理工大学电气电子工程学院担任Wallenberg NTU校长博士后研究员。累计发表CCF A类论文30余篇,其中第一作者18篇,授权16项中国发明专利。获得了IEEE ICME-2020最佳论文奖,IFTC 2017最佳论文奖,ISCAS-2022 MSA-TC最佳论文奖,以及IEEE CVPR-2018 UG2挑战赛亚军奖,北京大学优秀博士学位论文,2019年CSIG最佳博士论文提名奖。曾任IEEE ICME-2021领域主席和会议主席,IEEE ICME-2022领域主席,IEEE CVPR-2019/2020/2021/2022 UG2+挑战赛及研讨会组织者。个人主页: https://flyywh.github.io/

官方公众号