相似图片搜索的原理(二)

作者: 阮一峰

日期: 2013年3月31日

二年前,我写了《相似图片搜索的原理》,介绍了一种最简单的实现方法。

昨天,我在isnowfy的网站看到,还有其他两种方法也很简单,这里做一些笔记。

一、颜色分布法

每张图片都可以生成颜色分布的直方图(color histogram)。如果两张图片的直方图很接近,就可以认为它们很相似。

任何一种颜色都是由红绿蓝三原色(RGB)构成的,所以上图共有4张直方图(三原色直方图 + 最后合成的直方图)。

如果每种原色都可以取256个值,那么整个颜色空间共有1600万种颜色(256的三次方)。针对这1600万种颜色比较直方图,计算量实在太大了,因此需要采用简化方法。可以将0~255分成四个区:0~63为第0区,64~127为第1区,128~191为第2区,192~255为第3区。这意味着红绿蓝分别有4个区,总共可以构成64种组合(4的3次方)。

任何一种颜色必然属于这64种组合中的一种,这样就可以统计每一种组合包含的像素数量。

上图是某张图片的颜色分布表,将表中最后一栏提取出来,组成一个64维向量(7414, 230, 0, 0, 8, ..., 109, 0, 0, 3415, 53929)。这个向量就是这张图片的特征值或者叫"指纹"。

于是,寻找相似图片就变成了找出与其最相似的向量。这可以用皮尔逊相关系数或者余弦相似度算出。

二、内容特征法

除了颜色构成,还可以从比较图片内容的相似性入手。

首先,将原图转成一张较小的灰度图片,假定为50x50像素。然后,确定一个阈值,将灰度图片转成黑白图片。

如果两张图片很相似,它们的黑白轮廓应该是相近的。于是,问题就变成了,第一步如何确定一个合理的阈值,正确呈现照片中的轮廓?

显然,前景色与背景色反差越大,轮廓就越明显。这意味着,如果我们找到一个值,可以使得前景色和背景色各自的"类内差异最小"(minimizing the intra-class variance),或者"类间差异最大"(maximizing the inter-class variance),那么这个值就是理想的阈值。

1979年,日本学者大津展之证明了,"类内差异最小"与"类间差异最大"是同一件事,即对应同一个阈值。他提出一种简单的算法,可以求出这个阈值,这被称为"大津法"(Otsu's method)。下面就是他的计算方法。

假定一张图片共有n个像素,其中灰度值小于阈值的像素为 n1 个,大于等于阈值的像素为 n2 个( n1 + n2 = n )。w1 和 w2 表示这两种像素各自的比重。

  w1 = n1 / n

  w2 = n2 / n

再假定,所有灰度值小于阈值的像素的平均值和方差分别为 μ1 和 σ1,所有灰度值大于等于阈值的像素的平均值和方差分别为 μ2 和 σ2。于是,可以得到

  类内差异 = w1(σ1的平方) + w2(σ2的平方)

  类间差异 = w1w2(μ1-μ2)^2

可以证明,这两个式子是等价的:得到"类内差异"的最小值,等同于得到"类间差异"的最大值。不过,从计算难度看,后者的计算要容易一些。

下一步用"穷举法",将阈值从灰度的最低值到最高值,依次取一遍,分别代入上面的算式。使得"类内差异最小"或"类间差异最大"的那个值,就是最终的阈值。具体的实例和Java算法,请看这里

有了50x50像素的黑白缩略图,就等于有了一个50x50的0-1矩阵。矩阵的每个值对应原图的一个像素,0表示黑色,1表示白色。这个矩阵就是一张图片的特征矩阵。

两个特征矩阵的不同之处越少,就代表两张图片越相似。这可以用"异或运算"实现(即两个值之中只有一个为1,则运算结果为1,否则运算结果为0)。对不同图片的特征矩阵进行"异或运算",结果中的1越少,就是越相似的图片。

(完)

珠峰培训

简寻

留言(47条)

看了前几篇关于摘要的算法很受用,相似图片搜索也是很有趣的应用,学习了~~

好文!

第一种方法想到过,第二种学习了!

贵文的“阈值”写成了“阙值”,不应该啊。

@Charlie Chiu:

谢谢指出,已经改正了。

我从来没注意过这个问题,一直写“阙值”,都习惯了。

第一个反应是用来识别验证码……

好文!这几种方法本质上都是计算图片的 perceptual hash,再通过 hamming distance 表示差异。最近正好也在了解这方面的相关知识,目前碰到的难点在于面对海量(其实只是比较多)图片筛选时,如何把匹配速度优化到一个可接受的范围呢。

Adobe在这方面的技术积累那么深,如果做了图片搜索,是不是可以秒杀其他公司呢?

引用hightman的发言:

好文!这几种方法本质上都是计算图片的 perceptual hash,再通过 hamming distance 表示差异。最近正好也在了解这方面的相关知识,目前碰到的难点在于面对海量(其实只是比较多)图片筛选时,如何把匹配速度优化到一个可接受的范围呢。

匹配速度可以用索引来做,主要还是hash的质量怎么提高。

像这样的 KNN 问题,有哪些成熟易用的算法或库推荐吗。此外遐想何时能有一个像 strstr() 一样的 imgimg() 功能啊

识别图片中的线段是否中断,博主是否有思路呢?之前考虑过对比,但貌似没找到好的算法

我以前也研究过这样的算法。
会不会有多张图片,直方图很类似,但图片完全相同呢?
毕竟没有通过图片中的轮廓边缘来匹配。

这技术非常有潜力,不仅仅局限于图片搜索,可以用到图片伪原创,验证码识别等等各类内容感谢阮大侠

引用God的发言:

这技术非常有潜力,不仅仅局限于图片搜索,可以用到图片伪原创,验证码识别等等各类内容感谢阮大侠

别老想着作恶

引用Junyi的发言:

Adobe在这方面的技术积累那么深,如果做了图片搜索,是不是可以秒杀其他公司呢?

Adobe已经做了,单机版的Photoshop Element就有相似搜索

这些都是目前人能想到的,利用视觉或数学方面的来寻找相似性的图片。人类及动物是如何识别相似图象的呢?这个更有趣。

图像处理很有意思啊。感觉最重要的就是如何定义特征,如何提取特征了。

很有道理,感谢示例代码的分享。

文章很好,详略有度。

讲解的很详细,收藏啦

阮哥的东西都写得简单易懂,写得太好了

你的第一篇文章以及此篇文章的思路我大概也想到过,第二种方法有点新颖。
本来以为可以凭着兴趣玩出个图片搜索引擎,原来谷歌早就有了!唉。少年还需努力!

引用hightman的发言:

好文!这几种方法本质上都是计算图片的 perceptual hash,再通过 hamming distance 表示差异。最近正好也在了解这方面的相关知识,目前碰到的难点在于面对海量(其实只是比较多)图片筛选时,如何把匹配速度优化到一个可接受的范围呢。

有个疑问,如果是将图片生成hash特征值,再采用布隆过滤器来比对效率会高的惊人,Google就用这个方案解决垃圾邮件问题。不过如此一来那就和相似比对背道而驰了。因为 这是精确比对而非相似比对,差一个字节都无法比对上。不知道兄台你有啥好想法没有^_^

参考资料链接,楼主可以列一下主要的参阅材料,网站什么的,信息越多对大家越好哈。
求了解更多啊。

经常阅读您的博客,收益匪浅。谢谢您提供的宝贵知识!

请问什么叫 前景色和背景色的"类内差异最小"和"类间差异最大" 呢?
为什么找到这么一个让"类内差异最小"或"类间差异最大"的值 就是阀值,轮廓就越明显呢?
望高手赐教

额。。。上面的那个问题已经知道了 问题挺小白了
研究了一个晚上 感觉这种算法貌似有点问题
你是这么写的‘首先,将原图转成一张较小的灰度图片,假定为50x50像素’
这里的 50*50 感觉有问题
有一些桌面壁纸 是那种左边都是背景,真正的前景在图片的最右边,这样取他的50*50岂不是把主干弄没了?
但要是不进行缩放 确实很影响效率 那到底该如何是好呢?缩小的比例,多大为好呢?

我已经根据您的思想做出了一个图片搜索引擎。请问可不可以提供以下您所参考的文献或者网站信息等资料吗?非常感谢!:)

可不可以把图片转为4位色然后查询?查询结果按匹配度排列

感谢博主提供了这么好一篇博文,我学习了!我特意测试了一下第二种算法,发现
“类内差异 = w1(σ1的平方) + w2(σ2的平方)”这里是不是描述错了,括号里的值应该等于方差,而不是方差的平方。因为我用“类外差异”也计算了一下:括号里若是方差的话,两个差异方法的极值是相等的;若是方差的平方的话,极值就不等于了。

原文:如果每种原色都可以取256个值,那么整个颜色空间共有1600万种颜色(256的三次方)。

RGB每种原色取256个值,即深度为8,2^8=256,整个颜色空间2^(8+8+8)=2^24约1600万,24次方,您笔误了吧

两种方法单独使用都有各自的局限,结合起来不错,学习了。

颜色分布的局限:假如100*100的两张图,一张分割成50*50的4个小块,并各渲染成4种比如红、黄、蓝、绿;另一张分割成25*25的16个小块,各小块交替渲染成上面的4种颜色。视觉上完全不同的两张图片,因为两张图上各种颜色的总像素数一样,会被认为是相似的。

内容特征法的局限:可以避免上面的问题,但忽略了色彩差异,比如车道指示灯,分别发的红光、绿光箭头信号,如果灯体本身是黑色,不管是发红光还是绿光,都会被分离成前景色。

简单明了,不错的好文

我发现第一种计算方法有一个问题。
如果图片是局部色彩相近的图片,用黑色遮掉大部分保存为新图,然后与原图比较
发现余弦计算值>0.9(取决图片色彩是否平均,即每个部分都差不多)

这是因为会出现两个向量平行的情况,黑色的rgb值为 0

太好了, 正需要用到这个, 学习了, 谢谢阮大神的分享!
另外顺便帮忙debug一下下:
1. 所有灰度值小于阈值的像素的平均值和方差分别为 μ1 和 σ1
2. 类内差异 = w1(σ1的平方) + w2(σ2的平方)
根据句2推测句1中的σ1和σ2是否应该是"标准差"而不是"方差"?

感觉这几个方法都只能根据缩略图查找源图像,或者说非常接近的图像,
要想真正基于图像内容去检索图像还是不够

前面两种方法不错~第三种好像和Percept Hash类似吧,只是这里扩大来指纹范围

第二种方法 哪些是前景哪些是背景是怎么知道的呢 不知道我理解错或者漏了什么没有

很有趣,很想了解证件照中人脸识别的原理跟这种技术有何不同

看完了,通俗易懂。之前我看过别人做交通灯的识别的例子,也用到了图像处理的技术,其中有一个关键就是转为二值图时阈值的选取。

对于交通灯识别中自动选择合适的阈值,我以前想到一种非常粗糙的方法:先得到黑白图,然后得到黑白图的均值(例如90),最后根据这个均值选取阈值例如定为均值的一半,即45。(当然这种算法是很粗糙的)


通过Photoshop软件模仿可知,事实上对于同一幅图,采用任何阈值的效果都不会太好,更好的方法是对一幅图采用2-3次不同的阈值,然后将这2-3张图通过某种方式合成到一起,这样得到的阈值图是最完美的,可惜这种处理让人操作Photoshop软件是可以完成的,但通过一套完全自动化的算法程序去实现却困难重重。

引用王敏的发言:

原文:如果每种原色都可以取256个值,那么整个颜色空间共有1600万种颜色(256的三次方)。

RGB每种原色取256个值,即深度为8,2^8=256,整个颜色空间2^(8+8+8)=2^24约1600万,24次方,您笔误了吧

作者没错呢 ,是256的三次方,也是2的24次方


第3张图片中,共有64中组合,红绿蓝分别有4个区,但是这些组合中(每一行中)的这个像素数量是怎么算的呢???小白一枚,求教大家。。。谢谢!

最后一种“内容特征法”,其实也只能搜索缩略图,而不能搜索一幅图像为另一幅图像一部分的情况,这种情况,反倒相似性最差,对吧

关于最后一步的xor有不同看法。
如果这样的话,我仅仅将单位为1*1的黑白网格移动1px就会使xor出来的结果全部为1.

您好,我现在在学习图像搜索,但是最近遇到了一些问题,不知您是否方便能够给我一些指导。

这种算法的局限性适用性应该很小吧? 同一张图片 旋转不同的角度 ,按照这种算法,相似度咋样 ?

能否讲一些 人脸检测、人脸训练、人脸识别 方面的知识 ?

引用Liu Jinxue的发言:

感觉这几个方法都只能根据缩略图查找源图像,或者说非常接近的图像,
要想真正基于图像内容去检索图像还是不够

的确是这样子的。。

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接