ua-restriction 描述 属性 note 启用插件 note 测试插件 删除插件 ua-restriction 描述 ua-restriction 插件可以通过将指定 User-Agent 列入白名单或黑名单的方式来限制对服务或路由的访问。 一种常见的场景是用来设置爬虫规则。User-Agent 是客户端在向服务器发送...

Node.js应用场景 《Node.js in action》一书里说，Node.js 所针对的应用程序有一个专门的简称：DIRT。它表示数据密集型实时（data-intensive real-time）程序。因为 Node.js 自身在 I/O 上非常轻量，它善于将数据从一个管道混排或代理到另一个管道上，这能在处理大量请求时持有很多开放的连接，并且只占...

修改节点信息 修改节点信息 后面我们需要让爬虫运行在各个节点上，需要让主机与节点进行通信，因此需要知道节点的IP地址和端口。我们需要手动配置一下节点的IP和端口。在节点列表 中点击操作 列里的蓝色查看按钮进入到节点详情。节点详情样子如下。 在右侧分别输入该节点对应的节点IP 和节点端口 ，然后点击保存 按钮，保存该节点信息。 这样，我们就完成...

背景： 记录： 背景： 前些天接手了上一位同事的爬虫，一个全网爬虫，用的是scrapy+Redis 分布式，任务调度用的scrapy_redis模块。 大家应该知道scrapy是默认开启了去重的，用了scrapy_redis后去重队列放在redis里面，爬虫已经有7亿多条URL的去重数据了，再加上一千多万条requests的种子，redis占用了...

Web 态开发建议 1. 页面基础信息 2. 页面跳转 3. 保证任何小程序页面都能独立访问 4. 如何在运行时识别 Web 态环境 5. 布局设计时注意视图差异 6. 请勿操作框架样式 7. 在部分浏览器下，滚动页面时固定定位的元素抖动的解决方案 8. 增加保存图片、视频等方法的失败回调兼容处理 9. 关于爬虫抓取 10. 资源访问限制 ...

EasySwoole 协程HTTPClient组件 安装 EasySwoole 协程HTTPClient组件 协程httpClient组件,基于swoole 异步http client客户端 实现,可在协程内发起http请求不被阻塞,可用于下载文件,请求api,爬虫等一系列需求当中 安装 composer require easyswoole...

Web Service Web Service资源(resources) 可用JSON-RPC对象 Crawler JSON-RPC资源 状态收集器(Stats Collector)JSON-RPC资源 爬虫管理器(Spider Manager)JSON-RPC资源 扩展管理器(Extension Manager)JSON-RPC资源 可用JSON...

输出过滤器 输出过滤器 输出过滤器将处理模板的输出内容，执行的时机是在模板载入并执行之后，但在内容显示之前。 |string smartyoutputfilter_name ( |$templateoutput, || |$template) ;| string $template_output ;object $template ; 第一...

常见的安全误区 黑客、网络安全只存在于虚拟世界 我的程序部署在内网，没事儿 我的系统打上了所有的补丁，不会被入侵 密码用MD5加密了，拖了库也没关系 交易使用了短信验证码，绝对可靠 主流攻击方式 常见的安全误区 黑客、网络安全只存在于虚拟世界 如果我说以后黑客不但可以控制你的汽车开窗、刹车，甚至还能远程“强奸”，你信吗？ 许多初创公...

单次并发控制 单次并发控制 在实际爬虫项目中, 我们往往要限制单次并发请求数量以防被服务器防火墙屏蔽, 而一个max_co 参数就可以轻松地解决这个问题, max_co 会将请求根据上限量分批将请求压入队列并执行收包. // max_co is the max number of concurrency request once, it's ver...