七、dropout 7.1 dropout 与 bagging 7.2 模型推断 7.3 示例 7.4 性质 7.5 dropout 与正则化 七、dropout dropout ：在前向传播过程中，对网络中的每个隐层，每个隐单元都以一定的概率 被删除，最后得到一个规模更小的网络。在反向传播过程中，仅仅针对该小网络进行权重更新。 所...

交叉熵的意义是什么？它又是怎么来的？ 问题 交叉熵的意义是什么？它又是怎么来的？ 我们之前对交叉熵的讨论集中在代数分析和实际实现。这些内容看起来是足够了，但也留下一些待回答的更宽泛的概念问题，比如：交叉熵的意义是什么？有没有直观方式去思考交叉熵？还有，我们怎么才能在一开始的时候就想到交叉熵？ 我们从最后一个问题入手：什么会促使我们在第一时间想到交...

研发工具链概览 研发工具链概览 子曰：“工欲善其事，必先利其器”。前面已经提到，微服务架构的对开发水平提出了更高的＝要求，我们更应该注重研发工具链的建设，以提高开发效率。 内部帐号管理：不论大小企业，无论企业性质，都需要一个集中式的帐号管理系统，员工只需要设置一次帐号密码，就可以方便地使用各个不同的系统。我们选用了经典的OpenLDAP 作为帐号...

AlphaDropout 参数 返回 代码示例 AlphaDropout paddle.nn. AlphaDropout ( p=0.5, name=None ) [源代码] AlphaDropout是一种具有自归一化性质的dropout。均值为0，方差为1的输入，经过AlphaDropout计算之后，输出的均值和方差与输入保持一致。Alp...

七、XLNet 7.1 自回归语言模型 vs 自编码语言模型 7.2 Permutation Language Model 7.3 Two-Stream Self-Attention 7.4 Partial Prediction 7.5 引入 Transformer XL 7.6 多输入 7.7 模型比较 7.1.1 BERT vs XLNet ...

PoW 本质上是个去中心化的时钟 分布式账本时间排序问题 时间是根本问题 PoW 回顾 块间无变化 SHA 无记忆，无进展 SHA 与输入无关 难度属于银河系 计算 SHA 即参与 参与度由统计学揭示 工作（work）是一个时钟（clock） 谜题的最后一部分 分布式共识 就这样 结论 PoW 本质上是个去中心化的时钟 ...

20200601 修订 20200405 修订 20200112 修订 20191201 修订 20190928 修订 20190825 修订 20190802 修订 数学基础 统计学习 深度学习 工具 CRF lightgbm xgboost scikit-learn spark numpy scipy matplotli...

七、信息论 七、信息论 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 对于事件 ，定义自信息self-information 为： 。 自信息仅仅处理单个输出，但是如果计算自信息的期望，它就是熵： 记作 。 ...

跳表 概述 结构 查找 插入 删除 迭代 跳表 概述 跳表（SkipList）是由William Pugh提出的。他在论文《Skip lists: aprobabilistic alternative to balancedtrees》中详细地介绍了有关跳表结构、插入删除操作的细节。 这种数据结构是利用概率均衡 技术，加快简化插入、...

AlphaDropout 参数 返回 代码示例 AlphaDropout paddle.nn.AlphaDropout ( p=0.5, name=None ) [源代码] AlphaDropout是一种具有自归一化性质的dropout。均值为0，方差为1的输入，经过AlphaDropout计算之后，输出的均值和方差与输入保持一致。Alp...