练习：Web 爬虫

在这个练习中，我们将会使用 Go 的并发特性来并行化一个 Web 爬虫。

修改 Crawl 函数来并行地抓取 URL，并且保证不重复。

提示：你可以用一个 map 来缓存已经获取的 URL，但是要注意 map 本身并不是并发安全的！

exercise-web-crawler.go

  1. package main
  3. import (
  4.     "fmt"
  5. )
  7. type Fetcher interface {
  8.     // Fetch 返回 URL 的 body 内容，并且将在这个页面上找到的 URL 放到一个 slice 中。
  9.     Fetch(url string) (body string, urls []string, err error)
  10. }
  12. // Crawl 使用 fetcher 从某个 URL 开始递归的爬取页面，直到达到最大深度。
  13. func Crawl(url string, depth int, fetcher Fetcher) {
  14.     // TODO: 并行的抓取 URL。
  15.     // TODO: 不重复抓取页面。
  16.         // 下面并没有实现上面两种情况：
  17.     if depth <= 0 {
  18.         return
  19.     }
  20.     body, urls, err := fetcher.Fetch(url)
  21.     if err != nil {
  22.         fmt.Println(err)
  23.         return
  24.     }
  25.     fmt.Printf("found: %s %q\n", url, body)
  26.     for _, u := range urls {
  27.         Crawl(u, depth-1, fetcher)
  28.     }
  29.     return
  30. }
  32. func main() {
  33.     Crawl("https://golang.org/", 4, fetcher)
  34. }
  36. // fakeFetcher 是返回若干结果的 Fetcher。
  37. type fakeFetcher map[string]*fakeResult
  39. type fakeResult struct {
  40.     body string
  41.     urls []string
  42. }
  44. func (f fakeFetcher) Fetch(url string) (string, []string, error) {
  45.     if res, ok := f[url]; ok {
  46.         return res.body, res.urls, nil
  47.     }
  48.     return "", nil, fmt.Errorf("not found: %s", url)
  49. }
  51. // fetcher 是填充后的 fakeFetcher。
  52. var fetcher = fakeFetcher{
  53.     "https://golang.org/": &fakeResult{
  54.         "The Go Programming Language",
  55.         []string{
  56.             "https://golang.org/pkg/",
  57.             "https://golang.org/cmd/",
  58.         },
  59.     },
  60.     "https://golang.org/pkg/": &fakeResult{
  61.         "Packages",
  62.         []string{
  63.             "https://golang.org/",
  64.             "https://golang.org/cmd/",
  65.             "https://golang.org/pkg/fmt/",
  66.             "https://golang.org/pkg/os/",
  67.         },
  68.     },
  69.     "https://golang.org/pkg/fmt/": &fakeResult{
  70.         "Package fmt",
  71.         []string{
  72.             "https://golang.org/",
  73.             "https://golang.org/pkg/",
  74.         },
  75.     },
  76.     "https://golang.org/pkg/os/": &fakeResult{
  77.         "Package os",
  78.         []string{
  79.             "https://golang.org/",
  80.             "https://golang.org/pkg/",
  81.         },
  82.     },
  83. }