如何检测图像是照片,剪贴画还是线条图?

2022-09-01 21:20:36

识别图像类型的最佳方法是什么?rwong这个问题回答表明,谷歌将图像分为以下几组:

  • 照片 - 连续色调
  • 剪贴画 - 平滑底纹
  • 线条绘制 - 双音

将图像分类为其中一组的最佳策略是什么?我目前正在使用Java,但欢迎任何通用方法。

谢谢!


更新:

我尝试了tyjkenn在评论中提到的独特的颜色计数方法,它似乎适用于我尝试过的大约90%的病例。特别是黑白照片很难单独使用独特的颜色计数来正确检测。

获取图像直方图并单独计算窥视次数似乎不是一个可行的选择。例如,此图像只有两个峰值:

以下是我检查出来的另外两张图片:


答案 1

相当简单,但有效的方法来区分图纸和照片。将它们组合使用以达到最佳精度:

1)哑剧类型或文件扩展名

PNG通常是剪贴画或绘画,而JPEG大多是照片。

2) 透明度

如果图像具有 Alpha 通道,则很可能是绘图。如果存在 Alpha 通道,还可以额外迭代所有像素,以检查是否确实使用了透明度。下面是一个 Python 示例代码:

from PIL import Image
img = Image.open('test.png')
transparency = False
if img.mode in ('RGBA', 'RGBa', 'LA') or (img.mode == 'P' and 'transparency' in img.info):
    if img.mode != 'RGBA': img = img.convert('RGBA')
    transparency = any(px for px in img.getdata() if px[3] < 220)

print 'Transparency:', transparency

3) 颜色分布

剪贴画通常具有相同颜色的区域。如果几种颜色构成了图像的重要部分,那么它更像是一幅画而不是一张照片。此代码输出由十种最常用的颜色组成的图像区域的百分比(Python 示例):

from PIL import Image
img = Image.open('test.jpg')
img.thumbnail((200, 200), Image.ANTIALIAS)
w, h = img.size
print sum(x[0] for x in sorted(img.convert('RGB').getcolors(w*h), key=lambda x: x[0], reverse=True)[:10])/float((w*h))

您需要调整和优化这些值。十种颜色是否足以满足您的数据需求?什么百分比最适合您。通过测试大量示例图像来找出答案。30%或更多通常是剪贴画。不过,不适用于天空照片或类似照片。因此,我们需要另一种方法 - 下一种方法。

4) 通过FFT进行锐边检测

锐利的边缘导致傅里叶频谱中的高频。通常,这些功能在图纸中更常见(另一个Python片段):

from PIL import Image
import numpy as np
img = Image.open('test.jpg').convert('L')
values = abs(numpy.fft.fft2(numpy.asarray(img.convert('L')))).flatten().tolist()
high_values = [x for x in values if x > 10000]
high_values_ratio = 100*(float(len(high_values))/len(values))
print high_values_ratio

此代码为您提供每个区域超过 100 万的频率数。再次:根据您的示例图像优化此类数字。

针对您的映像集组合并优化这些方法。让我知道,如果你可以改进这个 - 或者只是编辑这个答案,请。我想自己改进它:-)


答案 2

这个问题可以通过图像分类来解决,这可能是谷歌解决问题的方法。基本上,您要做的是(i)将一组图像标记为3类:照片,剪贴画和线条画;(ii) 从这些图像中提取特征;(iii)使用图像的特征和标签来训练分类器。

特征提取:

在此步骤中,您必须提取可能对分类器区分 3 类图像有用的视觉信息:

  • 一个非常基本但有用的视觉特征是图像直方图及其变体。例如,照片的灰度级直方图可能比剪贴画的直方图更平滑,在剪贴画中,您的区域可能具有相同的颜色值。
  • 可以使用的另一个功能是将图像转换为频域(例如使用FFTDCT)并测量高频分量的能量。由于线条图可能会有明显的颜色过渡,因此其高频分量往往会积累更多的能量。

还有许多其他特征提取算法可以使用。

训练分类器:

在特征提取阶段之后,我们将为每个图像提供一个数值向量(我们称之为图像特征向量)及其元组。这是训练分类器的合适输入。至于分类器,可以考虑神经网络SVM

分类:

现在我们有一个经过训练的分类器,要对图像进行分类(即检测图像类别),我们只需要提取其特征并将其输入到分类器中,它将返回其预测的类别。


推荐