来源:apachecn
浏览 973
扫码
分享
2018-10-27 11:54:19
练习
- 尝试在 MNIST 数据集上建立一个分类器,使它在测试集上的精度超过 97%。提示:
KNeighborsClassifier
非常适合这个任务。你只需要找出一个好的超参数值(试一下对权重和超参数n_neighbors
进行网格搜索)。 - 写一个函数可以是 MNIST 中的图像任意方向移动(上下左右)一个像素。然后,对训练集上的每张图片,复制四个移动后的副本(每个方向一个副本),把它们加到训练集当中去。最后在扩展后的训练集上训练你最好的模型,并且在测试集上测量它的精度。你应该会观察到你的模型会有更好的表现。这种人工扩大训练集的方法叫做数据增强,或者训练集扩张。
- 拿 Titanic 数据集去捣鼓一番。开始这个项目有一个很棒的平台:Kaggle!
- 建立一个垃圾邮件分类器(这是一个更有挑战性的练习):
- 下载垃圾邮件和非垃圾邮件的样例数据。地址是Apache SpamAssassin 的公共数据集
- 解压这些数据集,并且熟悉它的数据格式。
- 将数据集分成训练集和测试集
- 写一个数据准备的流水线,将每一封邮件转换为特征向量。你的流水线应该将一封邮件转换为一个稀疏向量,对于所有可能的词,这个向量标志哪个词出现了,哪个词没有出现。举例子,如果所有邮件只包含了
"Hello","How","are", "you"
这四个词,那么一封邮件(内容是:"Hello you Hello Hello you"
)将会被转换为向量[1, 0, 0, 1]
(意思是:"Hello"
出现,"How"
不出现,"are"
不出现,"you"
出现),或者[3, 0, 0, 2]
,如果你想数出每个单词出现的次数。 - 你也许想给你的流水线增加超参数,控制是否剥过邮件头、将邮件转换为小写、去除标点符号、将所有 URL 替换成
"URL"
,将所有数字替换成"NUMBER"
,或者甚至提取词干(比如,截断词尾。有现成的 Python 库可以做到这点)。 - 然后 尝试几个不同的分类器,看看你可否建立一个很棒的垃圾邮件分类器,同时有着高召回率和高准确率。