入门教程 学习目标 创建项目 定义Item 编写第一个爬虫(Spider) 爬取 刚才发生了什么？ 提取Item Selectors选择器简介 尝试Selector选择器 提取数据 使用item 保存爬取到的数据 入门教程 学习目标 完成下列任务: 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网...

Item Pipelines 编写item pipeline process_item(self, item, spider) open_spider(self, spider) close_spider(spider) 将item写入JSON文件 启用一个Item Pipeline组件 在这里优化： 将item写入MongoDB I...

HTML语义化 参考资料 HTML语义化 语义化的含义就是用正确的标签做正确的事情，html语义化就是让页面的内容结构化，便于对浏览器、搜索引擎解析；在没有样式CCS情况下也以一种文档格式显示，并且是容易阅读的。搜索引擎的爬虫依赖于标记来确定上下文和各个关键字的权重，利于 SEO。使阅读源代码的人对网站更容易将网站分块，便于阅读维护理解。 参...

第六章 树的遍历 6.1 搜索引擎 6.2 解析 HTML 6.3 使用jsoup 6.4 遍历 DOM 6.5 深度优先搜索 6.6 Java 中的栈 6.7 迭代式 DFS 第六章 树的遍历 原文：Chapter 6 Tree traversal 译者：飞龙 协议：CC BY-NC-SA 4.0 自豪地采用谷歌翻译...

Python 资源大全中文版 来源(书栈小编注) Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处...

3.3. 站点信息 3.3. 站点信息 判断网站操作系统 Linux大小写敏感 Windows大小写不敏感 扫描敏感文件 robots.txt crossdomain.xml sitemap.xml xx.tar.gz xx.bak 等 确定网站采用的语言 如PHP / Java / Python等 找后缀，比如php/...

贡献指南 贡献流程 开发组 贡献指南 欢迎任何对爬虫管理平台感兴趣的开发者来贡献 Crawlab！在贡献 Crawlab 之前请认真阅读以下内容。 贡献流程 贡献 Crawlab 的流程如下: 从 develop 分支 fork 一份代码到你自己的 repo 里； 在你自己的 repo 里开发； 开发好后提交一个 pull re...

Go 的 fake-useragent 了解一下 支持 安装 用法 定制 输出 注意 最后 Go 的 fake-useragent 了解一下 有的网站会根据 User-Agent 的不同，跳转到不同（PC、M）的站点，也有根据版本的不同给出不一样的提示等等，而 User-Agent 的变化更是爬虫里的基础姿势 使用 Go 编写网络爬虫...

任务日志 日志搜索 异常检测 自动滚动 日志设置 原理 任务日志 Crawlab 会收集爬虫任务的运行日志，方便用户调试和监控爬虫程序。查看日志所在位置为 任务详情 > 日志 标签。 Crawlab 是通过 Stdout 标准输出流来捕获日志的，因此如果希望在 Crawlab 的界面中看到日志，就需要让日志内容输出到 Stdou...

本章小结 本章小结 Kotlin 是一门工程实践性很强的语言，从本章介绍的文件IO、正则表达式以及多线程等内容中，我们可以领会到 Kotlin 的基本原则：充分使用已有的 Java 生态库，在此基础之上进行更加简单实用的扩展，大大提升程序员们的生产力。从中我们也体会到了Kotlin 编程中的极简理念——不断地抽象、封装、扩展，使之更加简单实用。 本...