Architecture overview Overview Data flow Components Scrapy Engine Scheduler Downloader Spiders Item Pipeline Downloader middlewares Spider middlewares Event-driven networ...

url encode decode parameter parameterMap url encode 参数名 描述 可否为空 url 要编码的url 否 charset 编码格式,默认UTF-8 是 TIP 返回值类型：String 编码https://www.baidu.com $ { url . ...

url encode decode parameter parameterMap url encode 参数名 描述 可否为空 url 要编码的url 否 charset 编码格式,默认UTF-8 是 TIP 返回值类型：String 编码https://www.baidu.com $ { url . encode (...

开发指南 开发指南 新建一个maven项目 引入spider-flow-api <dependency> <groupId> org.spiderflow </groupId> <artifactId> spider-flow-api </artifactId> <version> 0.0.1 <...

架构概览 概述 组件 Scrapy Engine 调度器(Scheduler) 下载器(Downloader) Spiders Item Pipeline 下载器中间件(Downloader middlewares) Spider中间件(Spider middlewares) 数据流(Data flow) 事件驱动网络(Event-dri...

redis 引入Redis插件 定义Redis数据源 开始使用 redis 引入Redis插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入redis插件 --> <dependency> ...

redis 引入Redis插件 定义Redis数据源 开始使用 redis 引入Redis插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入redis插件 --> <dependency> <g...

mongodb 引入Mongdob插件 定义Mongodb数据源 开始使用 mongodb 引入Mongdob插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入mongodb插件 --> <dependenc...

IP代理池插件 引入IP代理池插件 方法 proxypool.add proxypool.http proxypool.https IP代理池插件 引入IP代理池插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- ...

IP代理池插件 引入IP代理池插件 方法 proxypool.add proxypool.http proxypool.https IP代理池插件 引入IP代理池插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-...