Selenium与PhantomJS

Selenium【瑟林捏幕】

Selenium是一个强大的网络数据采集工具，最初是为了网站自动化测试而开发的，被用来测试Web应用程序在不同的浏览器和操作系统上运行能力。

Selenium不带浏览器，它需要与第三方浏览器结合在一起使用。例如，如果你在Chrome上运行Selenium

from selenium import webdriver

Create a new instance of the Chrome driver

driver = webdriver.Chrome(executable_path="/path/to/chromedriver")

go to the baidu home page

driver.get("https://www.baidu.com")

the page is ajax so the title is originally this:

print driver.title</div></div>可以直接看到Chrome窗口被打开，进入百度首页，然后执行打印title。

近几年，它还被广泛用于获取精确的网站快照，因为Selenium可以直接运行在浏览器上。让浏览器自动加载页面，获取需要的数据，甚至执行点击事件、页面截屏等等。

虽然运行在浏览器上，看起来更直观，但是如果没有了渲染，执行效率更高，这就是PhantomJS的优势。

PhantomJS【饭特姆JS】

PhantomJS是一个基于WebKit内核、无UI界面的浏览器，WebKit是一个开源的浏览器引擎。比如，主流的Safari, Google Chrome,傲游3,猎豹浏览器,百度浏览器，opera浏览器 基于 Webkit 开发。）

PhantomJS会把网站数据加载到内存中，并执行页面上的JavaScript，但不会向用户展示图形界面。

总结

当将Selenium和PhantomJS结合在一起，就可以运行一个非常强大的网络爬虫，它可以处理cookie、JavaScrip、click事件，以及判断网站上某些动作是否发生