[人工智能]计算机视觉实验二

参考教材：计算机视觉?编程 【人民邮电出版社】

语言：python?

软件：VS?code

Harris角点检测算法

角点的定义：局部窗口沿各方向移动，均产生明显变化的点；图像局部曲率突变的点。

判断角点算法好坏的标准：检测出图像中“真实的”角点；准确的定位性能；很高的稳定性；具有对噪声的鲁棒性；具有较高的计算效率

Harris角点算法的基本思想：从图像局部的小窗口观察图像特征；角点定义 : 窗口向任意方向的移动都导致图像灰度的明显变化

Harris矩阵Mi的特征值有三种情况:
1)如果 λ1和 λ 2都是很大的正数，则该x点为角点;
2)如果λ1很大,λ 2 很小(接近于0)，则该区域内存在一个边，该区域内的平均Mi的特征值不会变化太大;
3)如果λ1λ2 都是很小的数 (λ1≈λ2≈0), 则该区域为空。

代码：

from pylab import *
from PIL import Image
from PCV.localdescriptors import harris

im = array(Image.open('4.jpg').convert('L'))

harrisim = harris.compute_harris_response(im)

harrisim1 = 255 - harrisim

figure()
gray()

subplot(141)
imshow(harrisim1)
print (harrisim1.shape)
axis('off')
axis('equal')

threshold = [0.01,0.1,0.2]
for i, thres in enumerate(threshold):

    filtered_coords = harris.get_harris_points(harrisim, 6, thres)
    subplot(1, 4, i+2)
    imshow(im)
    print(im.shape)
    plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
    axis('off')
show()

实验结果：

寻找对应点

代码：

from pylab import *
from PIL import Image
from PCV.localdescriptors import harris
from PCV.tools.imtools import imresize

im1 = array(Image.open("4.jpg").convert("L"))
im2 = array(Image.open("5.jpg").convert("L"))

# resize加快匹配速度
im1 = imresize(im1, (im1.shape[1]//2, im1.shape[0]//2))
im2 = imresize(im2, (im2.shape[1]//2, im2.shape[0]//2))

wid = 5
harrisim = harris.compute_harris_response(im1, 5)
filtered_coords1 = harris.get_harris_points(harrisim, wid+1)
d1 = harris.get_descriptors(im1, filtered_coords1, wid)

harrisim = harris.compute_harris_response(im2, 5)
filtered_coords2 = harris.get_harris_points(harrisim, wid+1)
d2 = harris.get_descriptors(im2, filtered_coords2, wid)

print('starting matching')
matches = harris.match_twosided(d1, d2)

figure()
gray()
harris.plot_matches(im1, im2, filtered_coords1, filtered_coords2, matches)
show()

?

结果 ：

?SIFT算法

sifi可以解决的问题：
? 目标的旋转、缩放、平移（RST）
? 图像仿射/投影变换（视点viewpoint）
? 弱光照影响（illumination）
? 部分目标遮挡（occlusion）
? 杂物场景（clutter）
? 噪声

算法步骤：

1. 提取关键点：比如角点、边缘点、暗区域的亮点以及亮区域的暗点
2. 对关键点附加详细的信息（局部特征），即描述符；
3. 通过特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。

代码：

from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris



imname = '1.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')


figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title('1')
subplot(132)
sift.plot_features(im, l1, circle=True)
title('2')

harrisim = harris.compute_harris_response(im)


subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title('3')

show()