发送错误 通过邮件方式报告 服务器错误 404 错误 过滤错误报告 过滤敏感数据 自定义错误报告 发送错误 当您运行着公开的网页时，你应该把设置中的 DEBUG 选项设为关闭。 这将使您的服务器运行得更快，并且还可以防止恶意用户在错误页面中看到应用的详细信息。 然而，把配置 DEBUG 设置为 False， 这意味着你永远不会在...

斗鱼App妹子图下载 创建项目'douyu' 树形图展示项目 Sublime打开项目 生成采集模块spider 编辑项目 item.py setting.py douyu_spider.py pipeline.py class scrapy.pipelines.images.ImagesPipeline 定制图片管道: 启用pipelin...

常见使用场景 跨域问题 跳转到带www的域上面 代理转发 监控状态信息 代理转发连接替换 ssl配置 强制将http重定向到https 两个虚拟主机 虚拟主机标准配置 爬虫过滤 防盗链 虚拟目录配置 防盗图配置 屏蔽.git等文件 域名路径加不加需要都能正常访问 常见使用场景 跨域问题 在工作中，有时候会遇到一些接口...

Node.js入门教程 介绍 目录 more 联系作者 微信公众号：JavaScript之禅 License 来源(书栈小编注) Node.js入门教程 学习Node.js有段时间了，入门时很迷茫。于是想以自己的入门水平来写这教程给未入门的朋友。希望能够帮助到更多刚入门朋友少一点儿迷茫。 由于水平有限，编写的过程难免会有诸多错误...

API API 验证 API 文档 API Crawlab 是前后端分离架构（B/S），前端是通过访问 API 的形式来与后端交互的，因此理论上外部系统可以直接通过 API 来访问以及操作 Crawlab。很多企业有自己的管理系统，希望通过某种方式集成 Crawlab 作为爬虫管理系统，因此 Crawlab 开发组开放了 Crawlab 的 AP...

Scrapy入门教程 创建项目 定义Item 编写第一个爬虫(Spider) 爬取 刚才发生了什么？ 提取Item Selectors选择器简介 在Shell中尝试Selector选择器 TODO.. 提取数据 使用item 追踪链接(Following links) 保存爬取到的数据 下一步 讨论 Scrapy入门教程...

HTMLParser 小结 练习 参考源码 HTMLParser 如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。 假设第一步已经完成了，第二步应该如何解析HTML呢？ HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的...

token 对称加密 签名验证 签名 加密 第三方支持 保证接口安全一般分为两种，一个是防数据篡改，一个是防数据泄漏，防篡改使用摘要验证，防泄漏使用加密 token token=5位随机数+时间戳 aesEnctrypt（token） （1）验证时间和服务器时间不能超过3分。 （2）同一个时间戳，随机数只能使用一次。 对称加密...

picker picker 从底部弹起的滚动选择器，现支持五种选择器，通过mode来区分，分别是普通选择器，多列选择器，时间选择器，日期选择器，省市区选择器，默认是普通选择器。 普通选择器：mode = selector 属性名 类型 默认值 说明 最低版本 range Array / Object Array [] mode为 selecto...

资源推荐 资源推荐 这里列出了 Python 相关的一些资源，欢迎读者补充。 vinta/awesome-python: A curated list of awesome Python frameworks, libraries, software and resources 包含了 Python 框架、Python 库和软件的 awe...