简介 特性 支持数据库 框架结构 代码托管 参与贡献 优秀视频 优秀案例 接入企业 简介 MyBatis-Plus （简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。 愿景 我们的愿景是成为 MyBatis 最好的搭档，就像 魂斗罗 中的 1P、...

魔豆文库文章爬虫使用教程 介绍 智能提取 自定义 使用 采集演示：智能提取 自定义采集规则 声明 魔豆文库文章爬虫使用教程 演示站点：https://moredoc.mnt.ltd 演示账号: admin 演示密码: mnt.ltd 介绍 魔豆文库系统【专业版 】从 3.0 版本开始，支持文章爬虫对文章进行采集。该爬虫是一个...

单页面SEO解决方案 路由与状态的管理 prerender.io 参考资料 单页面SEO解决方案 单页应用实际是把视图（View）渲染从Server交给浏览器，Server只提供JSON格式数据，视图和内容都是通过本地JavaScript来组织和渲染。而搜索搜索引擎抓取的内容，需要有完整的HTML和内容，单页应用架构的站点，并不能很好的支持搜索...

Node.js应用场景 《Node.js in action》一书里说，Node.js 所针对的应用程序有一个专门的简称：DIRT。它表示数据密集型实时（data-intensive real-time）程序。因为 Node.js 自身在 I/O 上非常轻量，它善于将数据从一个管道混排或代理到另一个管道上，这能在处理大量请求时持有很多开放的连接，并且只占...

3.3. 站点信息 3.3. 站点信息 判断网站操作系统 Linux大小写敏感 Windows大小写不敏感 扫描敏感文件 robots.txt crossdomain.xml sitemap.xml xx.tar.gz xx.bak 等 确定网站采用的语言 如PHP / Java / Python等 找后缀，比如php/...

商品数据接入（内测） 商品数据应用场景 商品数据接入 第一步：开启「爬虫开关」 第二步：推送「页面路径」 第三步：接入「数据更新协议」 商品数据接入（内测） 商品数据应用场景 商品数据目前应用于 微信扫一扫识物功能 、小程序商品搜索功能 和 扫条码 三个功能。 这些功能可以很好的满足微信用户对商品的信息获取诉求，同时也能为商家小程序...

任务执行 任务执行 Crawlab的任务执行依赖于shell。执行一个爬虫任务相当于在shell中执行相应的命令，因此在执行爬虫任务之前，要求使用者将执行命令存入数据库。执行命令存在spiders 表中的cmd 字段。 任务执行的架构示意图如下。 当爬虫任务被派发时，主节点会在Redis中的tasks:<node_id> （指定工作节点）和t...

背景： 记录： 背景： 前些天接手了上一位同事的爬虫，一个全网爬虫，用的是scrapy+Redis 分布式，任务调度用的scrapy_redis模块。 大家应该知道scrapy是默认开启了去重的，用了scrapy_redis后去重队列放在redis里面，爬虫已经有7亿多条URL的去重数据了，再加上一千多万条requests的种子，redis占用了...

任务执行 任务执行 Crawlab的任务执行依赖于shell。执行一个爬虫任务相当于在shell中执行相应的命令，因此在执行爬虫任务之前，要求使用者将执行命令存入数据库。执行命令存在spiders 表中的cmd 字段。 任务执行的架构示意图如下。 当爬虫任务被派发时，主节点会在Redis中的tasks:<node_id> （指定工作节点）和t...

Q&A 为何我访问 http://localhost:8080 提示访问不了？ 我可以看到登录页面了，但为何我点击登陆的时候按钮一直转圈圈，或者提示检查用户名密码？ 我执行了爬虫，但是在Crawlab上看不到结果 为何启动Crawlab时，后台日志显示no reachable servers ？ 在爬虫程序中打印中文会报错 我的爬虫有一些第三...