使用 kNN 进行手写识别

目标

在本章

  • 我们将使用我们在 kNN 上的知识来构建基本的 OCR 应用程序。
  • 我们将尝试使用 OpenCV 自带的数字和字母数据。

手写数字的 OCR

我们的目标是构建一个可以读取手写数字的应用程序。为此，我们需要一些训练数据和测试数据。OpenCV 自带了一张图片 digits.png（在文件夹 opencv/samples/data/ 中），它有 5000 个手写数字（每个数字 500 个）。每个数字是 20x20 图像。所以我们的第一步是将这个图片分成 5000 个不同的数字。对于每个数字，我们将其展平为一个 400 像素的行。这是我们的特征集，即所有像素的强度值。这是我们可以创建的最简单的特征集。我们使用每个数字的前 250 个样本作为训练数据，接下来 250 个样本作为测试数据。所以让我们先做好准备吧。

  1. import numpy as np
  2. import cv2 as cv
  3. from matplotlib import pyplot as plt
  5. img = cv.imread('digits.png')
  6. gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
  8. # Now we split the image to 5000 cells, each 20x20 size
  9. cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]
  11. # Make it into a Numpy array. It size will be (50,100,20,20)
  12. x = np.array(cells)
  14. # Now we prepare train_data and test_data.
  15. train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400)
  16. test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400)
  18. # Create labels for train and test data
  19. k = np.arange(10)
  20. train_labels = np.repeat(k,250)[:,np.newaxis]
  21. test_labels = train_labels.copy()
  23. # Initiate kNN, train the data, then test it with test data for k=1
  24. knn = cv.ml.KNearest_create()
  25. knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
  26. ret,result,neighbours,dist = knn.findNearest(test,k=5)
  28. # Now we check the accuracy of classification
  29. # For that, compare the result with test_labels and check which are wrong
  30. matches = result==test_labels
  31. correct = np.count_nonzero(matches)
  32. accuracy = correct*100.0/result.size
  33. print( accuracy )

到这里，我们的基础 OCR 应用已经准备好了。这个特定的例子给了我 91％的准确率。提高准确性的一个选择是为训练添加更多数据，尤其是错误的数据。因此，为了避免每次都要启动程序找这些训练数据，我最好保存他们，以便下次我直接从文件中读取这些数据并开始分类。你可以借助 np.savetxt、np.savez、np.load 等 Numpy 函数来完成。请查看它们的文档以获取更多详细信息。

  1. # save the data
  2. np.savez('knn_data.npz',train=train, train_labels=train_labels)
  4. # Now load the data
  5. with np.load('knn_data.npz') as data:
  6.     print( data.files )
  7.     train = data['train']
  8.     train_labels = data['train_labels']

在我的系统中，这需要大约 4.4 MB 的内存。由于我们使用强度值（uint8 数据）作为特征，最好先将数据转换为 np.uint8 然后保存。在这种情况下，它只需要 1.1 MB。然后在加载时，你可以转换回 float32。

英文字母的 OCR

接下来我们将对英文字母执行相同操作，但数据和特征集略有变化。在这里，我们用 OpenCV 自带的数据文件，opencv/samples/cpp/（译者注：应为 opencv/samples/data） 目录里的 letter-recognition.data，来代替图像数据。 如果你打开它，你会看到 20000 行，乍一看，有点像垃圾数据。实际上，在每一行中，第一列是一个字母，它也是我们的标签，接下来的 16 个数字是它的不同特征。这些特征可从UCI 机器学习库获得，你可以在此页面中找到这些特征的详细信息。

有 20000 个样本可用，因此我们首先将 10000 个数据作为训练样本，剩余 10000 个作为测试样本。我们应该将字母转为 ascii 字符，因为我们无法直接处理字母。

  1. import cv2 as cv
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  5. # Load the data, converters convert the letter to a number
  6. data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ',',
  7.                     converters= {0: lambda ch: ord(ch)-ord('A')})
  9. # split the data to two, 10000 each for train and test
  10. train, test = np.vsplit(data,2)
  12. # split trainData and testData to features and responses
  13. responses, trainData = np.hsplit(train,[1])
  14. labels, testData = np.hsplit(test,[1])
  16. # Initiate the kNN, classify, measure accuracy.
  17. knn = cv.ml.KNearest_create()
  18. knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
  19. ret, result, neighbours, dist = knn.findNearest(testData, k=5)
  21. correct = np.count_nonzero(result == labels)
  22. accuracy = correct*100.0/10000
  23. print( accuracy )

此程序给我的准确率为 93.22％。 同样，如果您想提高准确率，可以在每个级别迭代添加错误数据。

额外资源

练习