概述
DeepSQL是对openGauss DB4AI能力的增强。DeepSQL将常用的机器学习算法封装为SQL语句,支持60多个常用算法。其中包括回归算法(例如线性回归,逻辑回归,随机森林等)、分类算法(比如KNN等)、聚类算法(比如K-means)等。除了基础的机器学习算法之外,还包括图相关的算法,比如最短路径,图形直径等等算法;此外还支持数据处理(比如PCA),稀疏向量,统计学常用算法(比如协方差,Pearson系数计算等),训练集测试集分割方法,交叉验证方法等。
表 1 支持的机器学习算法 - 回归类算法
算法中文名称 | 算法英文名称 | 应用场景 |
---|
逻辑回归 | Logistic Regression | 例如寻找某疾病的危险因素,金融商业机构需要对企业进行评估等。 预测:根据模型预测不同的自变量情况下某病或某情况的发生概率。 判别:实际上跟预测类似,也是根据模型判断某人属于某病或属于某种情况的概率有多大,即判断某人有多大可能是属于某病。 |
Cox比例风险回归 | Cox Proportional Hazards Regression | 该模型以生存结局和生存时间为因变量,可同时分析众多因素对生存期的影响,能分析带有截尾生存时间的资料,且不要求估计资料的生存分布类型。由于上述优良性质,该模型自问世以来,在医学类研究中得到广泛的应用,是迄今生存分析中应用最多的多因素分析方法。 |
弹性网络回归 | Elastic Net Regularization | 弹性回归是岭回归和套索回归的混合技术,它同时使用 L2 和 L1 正则化。当有多个相关的特征时,套索回归很可能随机选择其中一个,而弹性回归很可能都会选择。 |
广义线性模型 | Generalized Linear Models | 在一些实际问题中,变量间的关系并不都是线性的,这种情况就应该用曲线去进行拟合。 |
边际效应 | Marginal Effects | 提供边际效应的计算。 |
多类回归 | Multinomial Regression | 如果目标类别数超过两个,这时就需要使用多类回归,如疗效可能是“无效”,“显效”,“痊愈”三类。 |
序数回归 | Ordinal Regression | 在统计学中,序数回归是一种用于预测序数变量的回归分析,即其值存在于任意范围内的变量,不同值之间的度量距离也不同。它可以被认为是介于回归和分类之间的一类问题。例如,病情的分级(1、2、3、4级),症状的感觉分级(不痛、微痛、较痛和剧痛),对药物剂量反应的分级(无效、微效、中效和高效)等等。不同级别之间的差异不一定相等,如不痛与微痛的差值不一定等于较痛与剧痛的差值。 |
聚类方差 | Clustered Variance | Clustered Variance模块调整聚类的标准误差。例如,将一个数据集合复制100次,不应该增加参数估计的精度,但是在符合独立同分布假设(Independent Identically Distributed,IID)下执行这个过程实际上会提高精度。 |
稳健方差 | Robust Variance | Robust Variance模块中的函数用于计算线性回归、逻辑回归、多类逻辑回归和Cox比例风险回归的稳健方差(Huber-White估计)。它们可用于计算具有潜在噪声异常值的数据集中数据的差异。 |
支持向量机 | Support Vector Machines(SVM) | 用于文本和超文本的分类、图像分类,比起传统的查询优化方案,支持向量机能够获取明显更高的搜索准确度。这同样也适用于图像分割系统。 |
线性回归 | Linear Regression | 应用广泛,例如经济学、金融学等。 |
表 2 支持的机器学习算法 - 其他监督学习
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
决策树 | Decision Tree | 最为广泛的归纳推理算法之一,处理类别型或连续型变量的分类预测问题,可以用图形和if-then的规则表示模型,可读性较高。 |
随机森林 | Random Forest | 随机森林是一类专门为决策树分类器设计的组合方法。它组合多棵决策树作出的预测。 |
条件随机场 | Conditional Random Field (CRF) | 条件随机场(CRF)是一种判别的,无向概率的图形模型。线性链CRF是一种特殊类型的CRF,它假定当前状态仅取决于先前的状态。在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。 |
朴素贝叶斯 | Naive Bayes | 通过计算概率来进行分类,可以用来处理多分类问题,比如:垃圾邮件过滤器。 |
神经网络 | Neural Networks | 拥有广泛的应用场景,譬如语音识别、图像识别、机器翻译等等。在模式识别的领域中算是标准监督学习算法,并在计算神经学中,持续成为被研究的课题。MLP已被证明是一种通用的函数近似方法,可以被用来拟合复杂的函数或解决分类问题。 |
k临近算法 | k-Nearest Neighbors | K近邻分类方法通过计算每个训练样例到待分类样品的距离,取和待分类样品距离最近的K个训练样例,K个样品中哪个类别的训练样例占多数,则待分类元组就属于哪个类别。 可用于:文字识别,面部识别,基因模式识别,客户流失预测、欺诈侦测。 |
表 3 支持的机器学习算法 - 数据处理类算法
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
数组操作 | Array Operations | 数组、向量操作运算,包括基础的加减乘除、幂运算、开方、cos、sin、绝对值、方差等。 |
主成成分分析 | Dimensionality Reduction (PCA) | 降维,计算主成分。 |
变量编码 | Encoding Categorical Variables | 当前支持one-hot和dummy编码技术。 当需要用一组特定的预测变量与其它预测变量组作比较时,通常使用哑编码(dummy coding),与之比较的变量组称为参照组。One-hot编码与哑编码类似,两者的区别是前者为每种分类值建立数字类型的0/1指示列。在每行数据中(对应一个数据点),只有一个分类编码列的值可以为1。 |
矩阵操作 | Matrix Operations | 运用矩阵分解,将大型矩阵分解成简单矩阵的乘积形式,则可大大降低计算的难度以及计算量。 矩阵加减乘除、最值、均值、求秩、求逆、矩阵分解(QR,LU,Cholesky),特征提取。 |
规范化和距离函数 | Norms and Distance Functions | 求范数,余弦相似度,向量间距离。 |
稀疏向量 | Sparse Vectors | 实现稀疏向量类型,如果向量中重复值较多,可以用来压缩储存节省空间。 |
透视图 | Pivot | 透视表或枢轴表,通常用来实现OLAP或报表系统中一类常见的行列转置需求。pivot函数能够对一个表中存储的数据执行基本行转列操作,并将汇总后的结果输出到另一个表中。使行列转置操作变得更为简单与灵活。 |
模式匹配 | Path | 是在一系列行上执行常规模式匹配,并提取有关模式匹配的有用信息。有用的信息可以是简单的匹配计数或更多涉及的内容,如聚合或窗口函数。 |
会话 | Sessionize | 会话化功能对包括事件序列的数据集执行面向时间的会话重建。定义的不活动时段表示一个会话的结束和下一个会话的开始。 可以用于:网络分析,网络安全,制造,财务和运营分析。 |
共轭梯度法 | Conjugate gradient | 求解系数矩阵为对称正定矩阵的线性方程组的数值解的方法。 |
词干提取 | Stemming | 词干提取简单说就是找出单词中的词干部分,场景比如: 搜索引擎建立网页主题概念。 在英文网站优化作用明显,对其他语言有借鉴意义。 |
训练集测试集分割 | Train-Test Split | 分割数据集,把一份数据集划分成训练集和测试集,train的部分用于训练,test部分用于验证。 |
交叉验证 | Cross Validation | 交叉验证。 |
预测指标 | Prediction Metrics | 用于评估模型预测的质量,包括均方误差,AUC值、混淆矩阵、修正R方等用于评价模型的函数。 |
小批量预处理 | Mini-Batch Preprocessor | 把数据打包成小份进行训练,优点是它可以比随机梯度下降(默认MADlib优化器)表现更好,会更快更平滑的收敛。 |
表 4 支持的机器学习算法 - 图类
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
所有对间最短路径 | All Pairs Shortest Path (APSP) | 所有对最短路径(APSP)算法找到所有顶点对之间的最短路径的长度(总和权重),使得路径边缘的权重之和最小化。 |
广度优先算法 | Breadth-First Search | 广度优先算法遍历路径。 |
超链接诱导主题搜索 | Hyperlink-Induced Topic Search (HITS) | HITS算法输出每个节点的authority评分和hub评分,其中authority评分给出页面内容的分数,hub评估出连接到其他页面的分数。 |
平均路径长度 | Average Path Length | 此函数计算每对顶点之间的最短路径的平均值。平均路径长度基于“可到达的目标顶点”,因此它忽略了未连接的顶点之间的无限长度路径。 |
中心性 | Closeness Centrality | 接近度度量是和的倒数,平均值的倒数,以及到所有可到达目标顶点(不包括源顶点)的最短距离的倒数之和。 |
图表直径 | Graph Diameter | 直径被定义为图中所有最短路径中最长的。 |
入度出度 | In-Out Degree | 计算图中每个点的入度出度,入度指指向此点的边的数量,出度指此点指向其他点的边的数量。 |
网页排名 | PageRank | 给定图形,给定图形,PageRank算法输出概率分布,该概率分布表示随机遍历图形的人将到达任何特定顶点的可能性PageRank算法输出概率分布,该概率分布表示随机遍历图形的人将到达任何特定顶点的可能性。 |
单源最短路径 | Single Source Shortest Path (SSSP) | 给定图形和源顶点,单源最短路径(SSSP)算法找到从源顶点到图中的每个其他顶点的路径,使得路径边缘的权重之和最小化(每条边权值非负)。 |
弱连通分量 | Weakly Connected Component | 给定有向图,弱连通分量(WCC)是原始图的子图,其中所有顶点通过某个路径彼此连接,忽略边的方向。在无向图的情况下,弱连通分量也是强连通分量。该模块还包括许多在WCC输出上运行的辅助函数。 |
表 5 支持的机器学习算法 - 时间序列
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
差分整合移动平均自回归模型 | Autoregressive Integrated Moving Average model(ARIMA) | 时间序列预测,用于理解和预测一系列数据的未来值。 比如:国际航空旅客数据,预测旅客人数。 |
表 6 支持的机器学习算法 - 采样
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
采样函数 | sample | 抽样。 |
分层抽样 | Stratified Sampling | 分层随机抽样,又称类型随机抽样,它是先将总体各单位按一定标准分成各种类型(或层);然后根据各类型单位数与总体单位数的比例,确定从各类型中抽取样本单位的数量;最后,按照随机原则从各类型中抽取样本。 |
对称抽样 | Balanced Sampling | 一些分类算法仅在每个类中的样本数大致相同时才最佳地执行。高度偏斜的数据集在许多领域中是常见的(例如,欺诈检测),因此重新采样以抵消这种不平衡可以产生更好的决策边界。 |
表 7 支持的机器学习算法 - 统计学
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
汇总统计函数 | Summary | 生成任何数据表的摘要统计信息。 |
协方差和相关系数 | Correlation and Covariance | 描述性统计,求Pearson系数,相关系数,另一个输出协方差。了解数据从统计学上反映的量的特征,以便我们更好地认识这些将要被挖掘的数据。 |
统计频率算法 | CountMin (Cormode-Muthukrishnan) | 统计一个实时的数据流中元素出现的频率,并且准备随时回答某个元素出现的频率,不需要的精确的计数。 |
基数估计算法 | FM (Flajolet-Martin) | 获取指定列中的不同值的数量。 找出这个数字集合中不重复的数字的个数。 |
最频繁值 | MFV (Most Frequent Values) | 计算频繁值的场景。 |
假设检验 | Hypothesis Tests | 包含F-test,chi2-test等。 |
概率函数 | Probability Functions | 概率函数模块为各种概率分布提供累积分布,密度、质量和分位数函数。 |
表 8 支持的机器学习算法 - 其他算法
算法名称(中文) | 算法名称(英文) | 应用场景 |
---|
k-聚类算法 | K-means | 聚类场景。 |
隐含狄利克雷分布 | Latent Dirichlet Allocation (LDA) | LDA 在主题模型中占有非常重要的地位,常用来文本分类。 |
关联规则算法 | Apriori Algorithm | 关联规则算法,关联规则挖掘的目标是发现数据项集之间的关联关系。比如经典的“啤酒和尿布”。 |