新知一下
海量新知
6 5 2 3 1 9 7

IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

2022/09/23 13:44


新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

导读

本文是VCC叶子琪同学对论文 Self-Supervised Color-Concept Association via Image Colorization 的解读,该工作来自深圳大学可视计算研究中心与加拿大卡尔顿大学,已经被数据可视化顶级会议IEEE VIS 2022收录并将发表。

项目主页:
https://vcc.tech/research/2022/ColorConcept

该工作 提出了一种基于图像着色的自监督提取“颜色-概念”关联方法 ,能够以概念图像作为指导,利用着色网络,自动地从图像中提取颜色与概念的关联分布。

新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取


I


 引言
颜色和概念之间的适当关联有助于可视化的语义解释,但是创建两者之间适当关联的数据集成本十分昂贵,需要收集大量的用户对概念的颜色打分。另一方面,真实的概念图像通常带有丰富的颜色信息。因此,本文的目标是以概念图像为指导,通过着色模型自动提取概念与颜色之间的关联分布。需要注意,本文所指的概念即为一个类别的名称。

对于提取颜色与概念关联分布的问题,以前的工作已经提出了可以自动化提取的办法。通常的做法是从图像中进行关联提取,但值得注意的是,其算法模型仍然需要在手动标记的数据中进行训练。为解决以上局限性,我们引入了一种自监督地从概念图像中提取出与颜色之间关联的学习方法。具体来说,该方法利用着色网络预测灰度图的像素颜色这一阶段,将学习到的指定类别与颜色之间的关系提取出来,作为概念与颜色之间的关联分布。由于该方法不需要用到用户标记的类别颜色打分,因此可大大降低数据收集的成本。


II


 技术贡献

本工作主要贡献如下:

  • 基于着色神经网络,提出了一种 自监督提取颜色与概念关联分布的方法;

  • 通过多个指标与一组用户研究,证明 该方法的结果在感知上更趋近于真实的用户评分。


III


 方法介绍
我们的方法包括图像着色模块与颜色映射模块。第一部分的目标是利用着色网络预测出每个像素的颜色概率分布;第二部分则是将网络预测的概率分布映射与聚合到指定的颜色库空间上,得到最终的“颜色-概念”关联分布。
新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取
整体流程图

对于第一部分,根据每一个给定的概念关键词,我们在搜索引擎上收集对应的一组图像用于着色网络的训练。我们在CIE Lab颜色空间中执行着色任务。网络会将图像的L(灰度)通道作为输入并预测可能的颜色分布,在这一阶段,我们并非预测每个像素单一确定的颜色,而是预测像素关于一组颜色的概率。由于像素的L通道已经作为输入,因此我们只需预测ab颜色空间上的概率即可。我们将ab通道以大小为10的步长,量化为313个ab颜色,预测出每个像素的313维ab概率分布。我们使用软编码将真实图像的像素量化为ab概率分布,而后定义网络的损失函数为预测概率分布与真实概率分布之间的多项式交叉熵。此外,该网络已在ImageNet数据集上进行了预训练,并在概念图像上进行模型的微调。


新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

着色网络结构图


在颜色映射模块中,我们需要将着色网络预测出来的概率分布映射到给定的颜色库空间中(例如 UW-58 colors、UW-71 colors、BCP-37 colors 等)。首先,我们将像素原始的L通道值与313个的ab颜色值结合,得到每个像素的313维Lab颜色分布。在每个像素所包含的313种Lab颜色中,我们将每种颜色  与颜色库  中的所有颜色分别进行距离计算,得到  ,并根据其颜色距离得出一组权重  ,并以两种颜色越相似,权值越高的原则将像素  的概率  加权分配给颜色库的各个颜色。最后,我们将像素级的颜色关联分布进行聚合,构成每个图像的“颜色-概念”关联分布。
新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

颜色映射流程图


IV


 部分结果展示
我们分别在四个数据集上与现有先进的有监督方法进行结果比较。结果显示有监督方法在Corr(Correlation)指标上表现更好,这表明有监督方法与真实分布之间具有更高的线性相关性。而我们的方法则在EMD(Earth Mover’s Distance)和ED(Entropy difference)指标上具有更加显著的优势,这两类指标考虑了颜色与给定概念之间的关联规模,表明我们的方法会在感知上与真实分布更加相似。
新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取
4个数据集的指标结果

新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取

“颜色-概念”关联分布部分实例展示
左:有监督方法;中:我们的方法;右:真实人类评分

另外,我们还进一步进行了一项用户研究。对于数据集中的28个概念,我们随机地展示了真实人类评分,我们的方法与有监督方法的分布结果,并要求用户在我们与有监督方法中选择出一个与真实人类评分更加接近的分布,或是选择“不确定”选项。我们邀请了30位参与者,共收集了840个答案。“我们”,“监督方法”和“不确定”选项的投票百分比为70.5%,16.9%和12.6%。

我们将用户的选择与指标结果一致的情况进行了统计(如下图)。从结果来看,ED指标的一致性比例最大,其次是EMD指标,由此可见用户在比较分布时会更加关注分布的峰值差异以及不同颜色之间的感知距离。
新知达人, IEEE VIS 2022 | 基于自监督图像着色的“颜色-概念”关联提取
用户研究与指标一致性结果

V


 总结与展望
适当的“颜色-概念”关联分布可以应用在数据可视化的赋色任务中,但是人工创建两者关系的数据集需要十分繁琐的处理过程。本文聚焦于图像着色任务,自监督地提取颜色与概念之间的关联,为之前工作存在的问题提供了新的解决方案。此外,本文的方法也能进一步应用到了可视化应用中,例如在需要根据一组色盘为不同的概念进行颜色分配的任务中,我们可以提供合理的颜色分配方案,在很大程度上体现了该方法的应用性。

VI


 思考与讨论
Q: 文章中使用到的数据集的种类多为水果与蔬菜,除此之外,该方法是否能应用到其他物体类别?
A: 可以。在充分收集指定类别的真实图片并输入到网络中进行训练后,该方法可以较为准确地预测这一类别与颜色之间的关联分布。

以下是开放性问题,欢迎读者朋友留言讨论:
Q: 对于一些较为抽象的概念(如:情绪),很难收集到具体的图像去表示,针对这样的处理场景,是否有好的解决方案?

-- End--


导 读 | 叶子琪
审 核 | 胡瑞珍
编 辑 | 申金

深圳大学可视计算研究中心

Visual Computing Research Center
--------------------------------------------
https://vcc.tech

中心以计算机图形学、计算机视觉、可视化、机器人、人工智能、人机交互为学科基础,致力促进多个学科的深入交叉与集成创新,重点推进 大规模静动态数据获取与优化融合 多尺度几何建模与图像处理 可视内容生成与仿真渲染 复杂场景重建与识别理解 三维移动协同感知与人机交互 智能模拟学习与强化认知 海量信息可视化与可视分析 等方面的科学研究。


关注

新知精选

更多新知精选