技术栈 升级日志 演示站点 开源地址 使用手册 魔豆文库MOREDOC，使用 Go 语言开发实现的文库解决方案，为dochub 文库的重构版本，支持 office (全部类型)、PDF、TXT、EPUB、MOBI 等多种文档格式的在线阅读浏览，支持无限级分类 、文档批量上传 、文档批量转换 、全文搜索 、云存储 、网络爬虫 、VIP 、手机...

Git 配置 开启 Git 设置 配置 Git 自动同步 手动同步 重置 查看版本 切换版本 Git 配置 Git 是一个版本管理系统（VCS），对于需要代码回溯、分支管理、代码回滚等功能的企业来说，是个非常有用的工具。市面上的 Git 代码托管服务有很多，例如 GitHub、GitLab、Gitee 等等，当然您也可以自己搭建 Git...

多线程爬虫实战：糗事百科 python下多线程的思考 Queue（队列对象） 多线程项目案例 多线程爬虫实战：糗事百科 参考上一节课糗事百科单进程项目 python下多线程的思考 Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 对于资源，加锁是个重要的环节。因为python原...

第三章 爬虫和蜘蛛 简介 3.1 使用 Wget 为离线分析下载网页 准备 操作步骤 工作原理 更多 3.2 使用 HTTrack 为离线分析下载页面 准备 操作步骤 工作原理 更多 3.3 使用 ZAP 蜘蛛 准备 操作步骤 工作原理 更多 3.4 使用 Burp Suite 爬取站点 准备 操作步骤 工作原理 3....

SEO 爬虫与索引 什么样的网站需要 SEO？ SEO 基础知识 内容 复制内容问题 保持更新 网站速度 保持耐心 流量 SEO 这是一个老的，有些过时确非常普遍，甚至每一个程序员都知道的关于搜索引擎优化的技术，所以，我只一笔带过。 搜索时发生什么了? 用户输入查询内容 查询处理以及分词技术 确定搜索意图及返回相关、新...

常见反爬策略及应对方案 常见反爬策略及应对方案 构造合理的HTTP请求头。 Accept User-Agent Referer Accept-Encoding Accept-Language 检查网站生成的Cookie。 有用的插件：EditThisCookie 如何处理脚本动态生成的Cookie 抓取动态内容。 S...

简介 特性 支持数据库 框架结构 代码托管 参与贡献 优秀视频 优秀案例 接入企业 简介 MyBatis-Plus （简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。 愿景 我们的愿景是成为 MyBatis 最好的搭档，就像 魂斗罗 中的 1P、...

多节点部署 1. 准备工作：部署 MongoDB 和 Redis 2. 部署主节点 3. 部署工作节点 4. 节点心跳信息 5. 其他问题 多节点部署 很多企业或个人爬虫管理用户都有在多个节点上跑爬虫任务的需求，也就是在分布式节点上管理爬虫。例如一个企业有多台服务器，需要在这些服务器集群上运行、监控、操作他们的爬虫，并集中统一查看和管理，这...

爬虫集成 爬虫集成 如果您想在 Crawlab 的界面上看到您的抓取结果，您需要将您的爬虫与 Crawlab 进行集成。 以下是爬虫集成的前提条件: 需要设置结果集 ； 需要将数据写在与 Crawlab 一个数据库中，例如 crawlab_test ； 需要在爬虫中将结果写回指定的数据集中（CRAWLAB_COLLECTION ），并且在 ta...

爬虫集成 爬虫集成 如果您想在 Crawlab 的界面上看到您的抓取结果，您需要将您的爬虫与 Crawlab 进行集成。 以下是爬虫集成的前提条件: 需要设置结果集 ； 需要将数据写在与 Crawlab 一个数据库中，例如 crawlab_test ； 需要在爬虫中将结果写回指定的数据集中（CRAWLAB_COLLECTION ），并且在 ta...