3.3 Response 结构体

Reponse结构体是我们请求Url后返回的响应。

这个结构体被定义在context结构中，我们在通过Addqueue或者Addqueue2将任务添加到任务队列后，框架会在合适的时机将任务取出进行解析。
我们可以通过ctx.GetResponse()来获取对应的Reponse结构（ctx为*Context结构），当然，ctx结构本身也提供了很多方法用于获取url抓取好的内容。

3.3.1 Response 定义

  1. // Response represents an entity be crawled.用于装载抓取反馈的结构
  2. type Response struct {
  3.     // 原始请求
  4.     *Request
  6.     // 响应流，其中URL拷贝自*Request
  7.     *http.Response
  9.     // The text is body of response. http响应的body部分
  10.     text string
  12.     // The dom is a pointer of goquery boject that contains html result. goquery抓取下的dom树
  13.     dom *goquery.Document
  15.     // The items is the container of parsed result. Restful请求的KV数据
  16.     items []map[string]interface{}
  18.     // The files is the container of image. Restful请求的多媒体文件
  19.     // "Name": string; "Body": io.ReadCloser
  20.     files []map[string]interface{}
  22.     // The err is not nil when crawl process is success. 错误码
  23.     err error
  24. }

3.3.2 Response 提供的一些public方法

  1. // new一个新实例
  2. func NewResponse(req *Request) *Response {
  3. }
  5. // 使用前的初始化工作
  6. func (self *Response) Prepare(resp *http.Response, req *Request) *Response {
  7. }
  9. // GetError test whether download process success or not.
  10. func (self *Response) GetError() error {
  11.     return self.err
  12. }
  14. // SetError save err about download process.
  15. func (self *Response) SetError(err error) {
  16.     self.err = err
  17. }
  19. // AddItem saves KV string pair to Response.Items preparing for Pipeline
  20. func (self *Response) AddItem(data map[string]interface{}) {
  21.     self.items = append(self.items, data)
  22. }
  24. func (self *Response) GetItem(idx int) map[string]interface{} {
  25.     return self.items[idx]
  26. }
  28. func (self *Response) GetItems() []map[string]interface{} {
  29.     return self.items
  30. }
  32. // AddFile saves to Response.Files preparing for Pipeline
  33. func (self *Response) AddFile(name ...string) {
  35. }
  37. func (self *Response) GetFile(idx int) map[string]interface{} {
  38.     return self.files[idx]
  39. }
  41. func (self *Response) GetFiles() []map[string]interface{} {
  42.     return self.files
  43. }
  45. // GetRequest returns request oject of self page.
  46. func (self *Response) GetRequest() *Request {
  47.     return self.Request
  48. }
  50. func (self *Response) GetHost() string {
  51.     return self.Response.Request.URL.Host
  52. }
  54. func (self *Response) GetResponseHeader() http.Header {
  55.     return self.Response.Header
  56. }
  58. func (self *Response) GetRequestHeader() http.Header {
  59.     return self.Response.Request.Header
  60. }
  62. func (self *Response) GetReferer() string {
  63.     return self.Response.Request.Header.Get("Referer")
  64. }
  66. // 自定义设置输出结果的"上级链接"字段
  67. func (self *Response) SetReferer(referer string) *Response {
  68.     self.Response.Request.Header.Set("Referer", referer)
  69.     return self
  70. }
  72. // GetHtmlParser returns goquery object binded to target crawl result.
  73. func (self *Response) GetDom() *goquery.Document {
  74.     if self.dom == nil {
  75.         self.initDom()
  76.     }
  77.     return self.dom
  78. }
  80. // GetHtmlParser returns goquery object binded to target crawl result. 
  81. func (self *Response) initDom() *goquery.Document {
  82.     r := strings.NewReader(self.GetText())
  83.     var err error
  84.     self.dom, err = goquery.NewDocumentFromReader(r)
  85.     if err != nil {
  86.         logs.Log.Error("%v", err)
  87.         panic(err.Error())
  88.     }
  89.     return self.dom
  90. }
  92. // GetBodyStr returns plain string crawled.
  93. func (self *Response) GetText() string {
  94.     if self.text == "" {
  95.         self.initText()
  96.     }
  97.     return self.text
  98. }
  100. func (self *Response) ResetText(body string) *Response {
  101.     self.text = body
  102.     self.dom = nil
  103.     return self
  104. }

如果response附带有kv数据，多媒体文件或者比较特殊的非文本响应，可以通过response获取。
如果反馈只是普通的html页面，使用ctx.GetText和ctx.GetDom就基本能够达到效果