爬取豆瓣电影 Top250

爬虫是标配了，看数据那一刻很有趣。第一个就从最最最简单最基础的爬虫开始写起吧！

项目地址：https://github.com/go-crawler/douban-movie

目标

我们的目标站点是 豆瓣电影 Top250，估计大家都很眼熟了

本次爬取8个字段，用于简单的概括分析。具体的字段如下：

image

简单的分析一下目标源

  • 一页共25条
  • 含分页（共10页）且分页规则是正常的
  • 每一项的数据字段排序都是规则且不变

开始

由于量不大，我们的爬取步骤如下

  • 分析页面，获取所有的分页
  • 分析页面，循环爬取所有页面的电影信息
  • 爬取的电影信息入库

安装

  1. $ go get -u github.com/PuerkitoBio/goquery

运行

  1. $ go run main.go

代码片段

1、获取所有分页

  1. func ParsePages(doc *goquery.Document) (pages []Page) {
  2.     pages = append(pages, Page{Page: 1, Url: ""})
  3.     doc.Find("#content > div > div.article > div.paginator > a").Each(func(i int, s *goquery.Selection) {
  4.         page, _ := strconv.Atoi(s.Text())
  5.         url, _ := s.Attr("href")
  7.         pages = append(pages, Page{
  8.             Page: page,
  9.             Url:  url,
  10.         })
  11.     })
  13.     return pages
  14. }

2、分析豆瓣电影信息

  1. func ParseMovies(doc *goquery.Document) (movies []Movie) {
  2.     doc.Find("#content > div > div.article > ol > li").Each(func(i int, s *goquery.Selection) {
  3.         title := s.Find(".hd a span").Eq(0).Text()
  5.         ...
  7.         movieDesc := strings.Split(DescInfo[1], "/")
  8.         year := strings.TrimSpace(movieDesc[0])
  9.         area := strings.TrimSpace(movieDesc[1])
  10.         tag := strings.TrimSpace(movieDesc[2])
  12.         star := s.Find(".bd .star .rating_num").Text()
  14.         comment := strings.TrimSpace(s.Find(".bd .star span").Eq(3).Text())
  15.         compile := regexp.MustCompile("[0-9]")
  16.         comment = strings.Join(compile.FindAllString(comment, -1), "")
  18.         quote := s.Find(".quote .inq").Text()
  20.         ...
  22.         log.Printf("i: %d, movie: %v", i, movie)
  24.         movies = append(movies, movie)
  25.     })
  27.     return movies
  28. }

数据

image

image

image

看到这些数据，你有什么想法呢，真是好奇 :=)