项目 添加/修改/删除项目 如何关联爬虫到项目 项目 项目是能够将爬虫 归类在不同单元的组织形式。例如“百度”、“必应”、“谷歌”的爬虫应该归类为“搜索引擎”爬虫，因此我们可以创建一个名叫“搜索引擎”的项目，然后将相关的爬虫都归类在它里面。项目本质上是一种归类形式，可以更好的帮助我们管理不同类别的爬虫。 添加/修改/删除项目 在项目页面，您...

面试篇章 面试篇章 scrapy 了解scrapy已经做过的功能，优化等。。。防止重复造轮子，如，去重，编码检测，dns缓存，http长连接,gzip等等。 JS相关。 这个是被问的最多的。看具体情况解决。可模拟相关js执行、绕过，或直接调浏览器去访问。自己用一个JS引擎+模拟一个浏览器环境难度太大了（参见V8的DEMO）。 调浏览器有很...

Q&A 为何我访问 http://localhost:8080 提示访问不了？ 我可以看到登录页面了，但为何我点击登陆的时候按钮一直转圈圈，或者提示检查用户名密码？ 我执行了爬虫，但是在Crawlab上看不到结果 为何启动Crawlab时，后台日志显示no reachable servers ？ 在爬虫程序中打印中文会报错 我的爬虫有一些第三...

Q&A 为何我访问 http://localhost:8080 提示访问不了？ 我可以看到登录页面了，但为何我点击登陆的时候按钮一直转圈圈，或者提示检查用户名密码？ 我执行了爬虫，但是在Crawlab上看不到结果 为何启动Crawlab时，后台日志显示no reachable servers ？ 在爬虫程序中打印中文会报错 我的爬虫有一些第三...

三、总体设计 架构图 3.1 功能定位 XXL-CRAWLER 是一个分布式Web爬虫框架。采用模块化设计，各个模块可灵活进行自定义和扩展。 借助 XXL-CRAWLER，一行代码开发一个分布式爬虫。 3.2 核心概念 概念 说明 XxlCrawler 爬虫对象，维护爬虫信息 PageVo 页面数据对象，一...

爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争… Day 1 小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。 这个站点的运维小黎发现某个时间段请求量陡增，分析日志发...

CI/CD 持续集成/持续部署 CI/CD 持续集成/持续部署 在生产环境或大型项目中，我们少不了需要版本控制系统（VCS）和自动化部署（Automatic Deployment）的情况。对于企业来说，生产环境的爬虫开发一般是一个自动化过程。它会经历开发、部署、上线、验证这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布...

Postgres 数据源集成 Postgres 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在目标数据库中，创建目标表，要保证其中包含 task_id 列，并为 varchar 类型； 在 “设置” -> “数据源” 中创建新的数据源，选择 Postgres...

权限管理 用户角色 公共爬虫 权限管理 Crawlab 从 v0.4.9 版本开始，加强了对权限管理的支持，让权限管理变得更加复杂和实用，为企业用户提供了权限管理的支持。 用户角色 Crawlab 的权限管理是简易版的 RBAC。简单来说，Crawlab 分为两个角色：管理用户 和 普通用户 。 管理用户 ：可以查看并操作所有用户的数...