How do human sketch objects?

作者: tinyway
发布时间:2015-07-13 10:35:10

文章的实现,OpenCV2.3.1,VS2010。

题目为“人类怎样画草图”,文章前面论述了一大堆关于人类对草图的识别,在这里略去,有兴趣可以自行阅读。

 

在5 Sketch Representation中开始介绍了如何为sketch构造出合适的histogram:主体的思路是利用梯度信息来构造特征向量,在这里只用到梯度的方向,而忽略梯度大小。

5.1 Extracting local features

我们下下来得dataset的图片分辨率过大,首先采用降采样为256*256。

第一步,求得图片的梯度(利用SCHARR算子),这样之后每一个像素点都有一个梯度方向在0~180度之间,然后我们根据梯度方向构造出四个response images,也就是四个bins(O1,O2,O3,O4,分别代表0-45,45-90,90-135,135-180度),然后根据每个像素点梯度的方向处在的区间放入不同的bin中(可以把response images当作二值图像,也就是一个像素点,只能在一个bin中相应像素点的值为1,而其他三个bins相应点为0,当然也出现了梯度的xy方向都为0,在这里我们不将该点放入bins中)。

第二步,将降采样后的图片确定28*28=784个采样点(每个采样点之间差8个像素,第一个点和左边缘相差16个像素,这样的话就舍弃了最后8个像素没有patch,当初没考虑好),以这784个采样点为中心构建784个patches,每个patch为32*32大小。

第三步,每个patch按空间分为4*4=16个bins,也就是每个bins是8*8的块。接下来就是extract 每个块中的每个response images(O)的局部描述子Li。对于每个response images,计算所属的8*8块内的累计值,也就是把第一步中的为1的点累加起来,然后把patch中的16个块的累计值合起来就形成了一个16维的局部描述子Li。然后对于每个response images计算描述子,然后将四个局部描述子合起来形成了该patch的向量d=[L1,L2,L3,L4],为64维向量,在这里也就是patch的特征,之后再对其进行归一化处理(这里一定要归一化,不然在下文的一个参数选取上会造成很大影响)。(文中提到了用能量累积的方法得到d,但是没有采用这个方法实现)

5.2 Building a visual vocabulary

第四步,如上步所做,一幅图就有784个特征向量,于是很多图的所有的特征向量就构成了所谓的bag-of-features,D={di}。在这里我们对选取了前1,000,000(由于考虑到概率问题,个人认为前100000个向量和随机选取1000000个向量在概率上是相等的,所以就没有采用文中所说的随机选取)个特征向量进行k-means聚类,取k=500,聚类完成之后得到了500个中心向量{ui},这里也可以认为是words。(关于bag-of-features或bag-of-words的问题可以看http://blog.csdn.net/tinyway/article/details/9240821)

5.3 Quantizing features

第五步,这一步中,我们就要构建出属于一个sketch的histogram。首先还是计算出784个d,之后将每个d与500个ui进行高斯核的计算距离K(d,u),形成了一个500维的距离向量q(d)=[K(d,u1),K(d,u2)....K(d,u500)],然后再将q(d)进行归一化(这里的归一化使用绝对值和来归一化,同第三步里d的归一化不同)。在计算完784个q(di)之后,将所有di累加起来,再除以784,就形成了sketch的histogram。



在这里,关于sketch的特征提取就差不多完成了,接下里就考虑分类问题。

问中还提到了很多分类问题,在这里就利用svm进行分类预测,下文讲的是自己的摸索过程,毕竟从没用过svm,大神绕道。

我暂时只取了25类进行分类训练,第一次是进行多分类训练,也就是只训练出一个模型,之后发现结果超级不行,再重看文章后发现文章不是这样实现的,在7.1中提到了,为每个sketch训练了250个分类器,用于将该sketch和其他类的sketch辨别出来,在预测的时候,通过比较每个分类器的classifier function来确定输入样本所属的类别。

同时,由于高斯核距离的计算中,选择了不同的sigma,有不同的效果,当sigma小的时候,sketch的histogram有很多维为0,但是当sigma取大的时候,预测的结果很差,所以还是取小的sigma。

svm的训练方法:

1.直接训练出多分类器:

该方法很直接,但是准确率也不是很高。

2.训练25个二分类器(样本有25类):

同文中7.1所说的方法进行预测,结果同样很不准。每个类取了60个正样本,而其他24个类取了60*24个负样本,这样子训练之后发现classifier function完全一样,看来是正负样本的比例失常导致,故重新训练,正样本取60个,每个类取2个负样本,一共48个负样本,结果也不怎么好,因为有一个分类器的classifier function总是特别大,于是很容易选到那个类别去。(后来改成10类)

3.训练10*9/2个分类器(共10类,两两一个分类器)

一轮轮判断,类似于二叉树查询,最多10次即可得出适合的预测。

结果同样不准确,在我的观点看来,两两一个分类器,若输入样本不在这两类中,就很容易出现误差,可能出现classifier function的值特别大,从而干扰到预测,只是若预测前几个的话会有正确的预测。

4.训练9*10个二分类器(共十类,两类之间有两个分类器,分别为其中之一的正样本分类器)

结果很不稳定,有的预测很准确能到达90%,有的很不准确,在25%左右。

5.一个二分类器(共两类)

输入为两类中的其中之一,这样的话预测的结果很准。



这个算法的实现花了大概两周的时间,前期看文章看了两天,第三天向的师姐请教,算是了解了整个算法的实现过程。之后花了两天时间把patch descriptor提取出来并利用k-means聚成500类,但是到5.3的quantizing features的时候发现量化后500维几乎都为0了,给文章作者Mathias Eitz发了封邮件询问了这个问题,很开心他回复了,让我调大高斯核函数中的sigma试试看,调大之后发现情况并没有好转,虽然为0的维数减少了,但是都是e-100以上的量级,后来又读了一遍文章发现在patch descriptor的提取中忘了对其进行归一化处理,归一化后在进行quantizing features情况有所好转,但是还是有很大一部分为0(我觉得有可能这里导致了之后分类效果差)。之后就进行svm训练预测,效果不太好。最后根据多个不同的svm的处理方法得到了几个不同的预测方法,然后用mfc做了个界面,让大家简单的试试看吧。

版权声明:本文为博主原创文章,未经博主允许不得转载。

标签: Sketch
来源:http://blog.csdn.net/tinyway/article/details/10325055

推荐: