课程背景

我们生活在一个充满数据的时代。
每天，来自商业、社会以及我们的日常生活所产生「图像、音频、视频、文本、定位信息」等各种各样的海量数据，注入到我们的万维网（WWW)、计算机和各种数据存储设备，其中万维网则是最大的信息载体。
数据的爆炸式增长、规模庞大和广泛可用的数据，使得我们真正进入到了“大数据（Big Data）时代”。我们急需功能强大的数据处理技术（Data Technology），从这些海量数据中发现有价值的信息。
网络爬虫（Web Crawler）技术，则成为了当下万维网数据（Web Data）收集中，最为高效灵活的解决方案。

什么是网络爬虫？

百度百科：网络爬虫

获取数据方式主要有哪些？

• 企业产生的数据：百度搜索指数、腾讯公司业绩数据、阿里巴巴集团财务及运营数据、新浪微博微指数 等…

大型互联网公司拥有海量用户，有天然的数据积累优势，还有一些有数据意识的中小型企业，也开始积累自己的数据。

• 数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所 等…

在各个数据交易平台上购买各行各业各种类型的数据，根据数据信息、获取难易程度的不同，价格也会有所不同。

• 政府/机构公开的数据：中华人民共和国国家统计局数据、中国人民银行调查统计、世界银行公开数据、联合国数据、纳斯达克、新浪财经美股实时行情 等…

通常都是各地征服统计上报，或者是行业内专业的网站、机构等提供。

• 数据管理咨询公司：麦肯锡、埃森哲、尼尔森、中国互联网络信息中心、艾瑞咨询 等…

通常这样的公司有很庞大的数据团队，一般通过市场调研、问卷调查、固定的样本检测、与各行各业的其他公司合作、专家对话来获取数据，并根据客户需求制定商业解决方案。

• 爬虫爬取网络数据：

如果数据市场上没有需要的数据，或者价格太高不愿意购买，那么可以利用爬虫技术，抓取网站上的数据。

我们需要学习的是：

1. Python基础语法学习（基础知识）
2. 对HTML页面的内容抓取（Crawl）
3. 对HTML页面的数据解析（Parse）
4. 对解析后的数据进行存储（Save）
5. 动态HTML的处理/验证码的处理
6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争….

可选择的IDE和编辑器：

工欲善其事，必先利其器：

IDE：PyCharm、Spyder、Eclipse+PyDev、Visual Studio等

编辑器：Vim、Sublime Text、VSCode、Atom等