算法复杂度主方法 一、复杂度主方法 二、举例 算法复杂度主方法 有时候，我们要评估一个算法的复杂度，但是算法被分散为几个递归的子问题，这样评估起来很难，有一个数学公式可以很快地评估出来。 一、复杂度主方法 主方法，也可以叫主定理。对于那些用分治法，有递推关系式的算法，可以很快求出其复杂度。 定义如下： 如果对证明感兴趣的可以翻阅书籍：《...

算法入门系列课程1 - 周而复始 算法概述 穷举法 经典例子 算法入门系列课程1 - 周而复始 算法概述 什么是算法？ 解决问题的正确方法和具体的实施步骤。 例子1：如何在两栋相距50m的大楼的两个房间牵一条线（两个房间都有窗）？ 养一只鸟（如鸽子），将线送过去 用很长的杆子将线递过去 用无人机（遥控飞行器）将线送过去 如何评价这些...

八、优化策略和元算法 8.1 坐标下降 8.2 Polyak 平均 8.3 贪心监督预训练 8.4 选择有助于优化的模型 8.5 连续方法 八、优化策略和元算法 有些优化技术并不是真正的算法，而是一个模板：它可以产生特定的算法。 8.1 坐标下降 最小化 可以采取如下的步骤： 先相对于单一变量 最小化。 然后相对于另一个变...

配置优化算法和超参 作业函数配置的基本概念 配置示例 预测配置 训练配置 FAQ 配置优化算法和超参 当搭建好神经网络模型后，需要经过训练才能用来做预测。而训练的过程就是网络模型中的参数被优化的过程，通常采用反向传播算法和指定的 Optimizer 更新参数，本文重点介绍在 OneFlow 中如何设置 Optimizer 和 超参(Hype...

线程调度之 Round Robin 算法 线程调度之 Round Robin 算法 代码 时间片轮转调度算法(Round Robin)的基本思想是让每个线程在就绪队列中的等待时间与占用 CPU 的执行时间成正比例。其大致实现是： 将系所有的就绪线程按照 FCFS 原则，排成一个就绪队列。 每次调度时将 CPU 分派（dispatch）给队首...

概述 前提条件 设置学习率 学习率的主流优化算 作业 2-3 概述 上一节我们明确了分类任务的损失函数（优化目标）的相关概念和实现方法，本节我们依旧横向展开"横纵式"教学法，如 图1 所示，本节主要探讨在手写数字识别任务中，使得损失达到最小的参数取值的实现方法。 图1：“横纵式”教学法 — 优化算法 前提条件 在优...

4.密钥交换算法 4.密钥交换算法 ECDH即ECC算法和DH结合使用，用于密钥磋商。交换双方可以在不共享任何秘密的情况下协商出一个密钥。ECC是建立在基于椭圆曲线的离散对数问题上的密码体制，给定椭圆曲线上的一个点P，一个整数k，求解Q=kP 很容易；给定一个点P、Q，知道Q=kP ，求整数k却是一个难题。ECDH即建立在此数学难题之上。 同时Hy...

5.3 BP神经网络算法 5.3 BP神经网络算法 由上面可以得知：神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（error BackPropagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法。 一般而言，只需包含...

狄克斯特拉算法 狄克斯特拉算法 #include <stdio.h> #define MAXVEX 100 #define INF 32767 void Dijkstra ( int cost [][ MAXVEX ], int n , int v ) { int dist [ MAXVEX ...

排序算法比较和选择 计算复杂度比较 系统资源占用比较 稳定度比较 如何选择排序法 排序算法比较和选择 排序算法有不少，当然，一般的语言中都提供某个排序函数，比如Python中，对list进行排序，可以使用sorted（或者list.sort()），关于这方面的使用，在我的github代码库algorithm中有几个举例，有兴趣的看官可以去那里...