网络编程基础 IP地址 域名 网络模型 常用协议 小结 读后有收获可以支付宝请作者喝咖啡，读后有疑问请加微信群讨论 网络编程基础 在学习Java网络编程之前，我们先来了解什么是计算机网络。 计算机网络是指两台或更多的计算机组成的网络，在同一个网络中，任意两台计算机都可以直接通信，因为所有计算机都需要遵循同一种网络协议。 那什么是互联网...

与Scrapy集成 集成 Scrapy 与Scrapy集成 Scrapy 是一个非常强大的爬虫框架。如果您对 Scrapy 不了解，请查看 官网介绍 。跟 Crawlab 集成之后，可以在界面上看到您的爬虫任务抓取到的数据。 Crawlab SDK 提供了一些 helper 方法来让您的爬虫更好的集成到 Crawlab 中，例如保存结果数据到...

专业版部署 1. 获取阿里云 RAM 账号 2. 部署并启动专业版 3. 添加工作节点 4. docker-compose.yml 配置 主节点 docker-compose.yml（附带 MongoDB 和 Redis） 主节点 docker-compose.yml（独立部署的 MongoDB 和 Redis） 工作节点 docker-compo...

实践经验(Common Practices) 在脚本中运行Scrapy 同一进程运行多个spider 分布式爬虫(Distributed crawls) 避免被禁止(ban) 实践经验(Common Practices) 本章节记录了使用Scrapy的一些实践经验(common practices)。这包含了很多使用不会包含在其他特定章节的的...

第一个demo 安装 1、通过GitHub下载 2、通过composer下载 3、加上一段很讨厌的注释，别问我为什么，我就是这么讨厌 ^_^ 运行界面如下: 第一个demo 爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子: 安装 1、通过GitHub下载 require_once __DIR__ . ...

3.3.6. 策略配置 序言 业务场景的介绍 业务场景的例子 例子一：同一个 IP 不断登陆撞库 策略的制定 例子二：同一个IP恶意注册 策略的制定 例子三：IP 爬虫业务系统 策略的制定 章节语 3.3.6. 策略配置 序言 业务场景的介绍 业务场景的例子 章结语 业务场景的介绍 对于公司业务细分到不同的场景, 再到...

如何防止死循环 如何防止死循环 在Scrapy的默认配置中，是根据url进行去重的。这个对付一般网站是够的。但是有一些网站的SEO做的很变态：为了让爬虫多抓，会根据request，动态的生成一些链接，导致爬虫 在网站上抓取大量的随机页面，甚至是死循环。。 为了解决这个问题，有2个方案： (1) 在setting.py中，设定爬虫的嵌套次数上限(全...

15.5 网络IO操作 15.5 网络IO操作 Kotlin为java.net.URL增加了两个扩展方法，readBytes和readText。我们可以方便的使用这两个方法配合正则表达式实现网络爬虫的功能。 下面我们简单写几个函数实例。 根据 url 获取该 url 的响应 HTML函数 fun getUrlContent ( url : ...