算法在人工智能领域是十分重要的,人工智能根据模型训练方式不同分为监督学习,无监督学习,半监督学习,强化学习。
一.监督学习
(1)人工神神经网络:反向传播、波尔兹曼机、卷积神经网络、Hopfield网络、多层感知器、径向基函数网络、受限波尔兹曼机、回归神经网络、自组织映射、尖峰神经网络。
(2)贝叶斯类:朴素贝叶斯、高斯贝叶斯、多项朴素贝叶斯、平均-依赖性评估、贝叶斯信念网络、贝叶斯网络。
(3)决策树类:分类和回归树、迭代、C4.5算法、卡方自动交互检测、决策残端、ID3算法、随机森林、SLIQ。
(4)线性分类器类:Fisher的线性判别、线性回归、逻辑回归、多项逻辑回归、朴素贝叶斯分类器、感知、支持向量机。
常见的无监督学习类算法包括:
(1) 人工神经网络类:生成对抗网络,前馈神经网络、逻辑学习机、自组织映射。
(2) 关联规则学习类:先验算法、Eclat算法、FP-Growth算法。
(3)分层聚类算法:单连锁聚类,概念聚类。
(4)聚类分析:BIRCH算法、DBSCAN算法,期望最大化、模糊聚类、K-means算法、K均值聚类、K-medians聚类、均值漂移算法、OPTICS算法。
(5)异常检测类:K最邻近算法,局部异常因子算法。
常见的半监督学习类算法包含:生成模型、低密度分离、基于图形的方法、联合训练。
常见的强化学习类算法包含:Q学习、状态-行动-奖励-状态-行动、DQN、策略梯度算法、基于模型强化学习、时序差分学习。
常见的深度学习类算法包含:深度信念网络、深度卷积神经网络、深度递归神经网络、分层时间记忆、深度波尔兹曼机、栈式自动编码器、生成对抗网络。
二、按照解决任务的不同来分类,粗略可以分为二分类算法、多分类算法、回归算法、聚类算法和异常检测五种。
1.二分类:
(1)二分类支持向量机:适用于数据特征较多、线性模型的场景。
(2)二分类平均感知器:适用于训练时间短、线性模型的场景。
(3)二分类逻辑回归:适用于训练时间短、线性模型的场景。
(4)二分类贝叶斯点机:适用于训练时间短、线性模型的场景。
(5)二分类决策森林:适用于训练时间短、精准的场景。
(6)二分类提升决策树:适用于训练时间短、精准度高、内存占用量大的场景
(7)二分类决策丛林:适用于训练时间短、精确度高、内存占用量小的场景。
(8)二分类局部深度支持向量机:适用于数据特征较多的场景。
(9)二分类神经网络:适用于精准度高、训练时间较长的场景。
解决多分类问题通常适用三种解决方案:第一种,从数据集和适用方法入手,利用二分类器解决多分类问题;第二种,直接使用具备多分类能力的多分类器;第三种,将二分类器改进成为多分类器今儿解决多分类问题。
常用的算法:
(1)多分类逻辑回归:适用训练时间短、线性模型的场景。
(2)多分类神经网络:适用于精准度高、训练时间较长的场景。
(3)多分类决策森林:适用于精准度高,训练时间短的场景。
(4)多分类决策丛林:适用于精准度高,内存占用较小的场景。
(5)“一对多”多分类:取决于二分类器效果。
回归:
回归问题通常被用来预测具体的数值而非分类。除了返回的结果不同,其他方法与分类问题类似。我们将定量输出,或者连续变量预测称为回归;将定性输出,或者离散变量预测称为分类。长巾的算法有:
(1)排序回归:适用于对数据进行分类排序的场景。
(2)泊松回归:适用于预测事件次数的场景。
(3)快速森林分位数回归:适用于预测分布的场景。
(4)线性回归:适用于训练时间短、线性模型的场景。
(5)贝叶斯线性回归:适用于线性模型,训练数据量较少的场景,
(6)神经网络回归:适用于精准度高、训练时间较长的场景。
(7)决策森林回归:适用于精准度高、训练时间短的场景。
(8)提升决策树回归:适用于精确度高、训练时间短、内存占用较大的场景。
聚类:
聚类的目标是发现数据的潜在规律和结构。聚类通常被用做描述和衡量不同数据源间的相似性,并把数据源分类到不同的簇中。
(1)层次聚类:适用于训练时间短、大数据量的场景。
(2)K-means算法:适用于精准度高、训练时间短的场景。
(3)模糊聚类FCM算法:适用于精确度高、训练时间短的场景。
(4)SOM神经网络:适用于运行时间较长的场景。
异常检测:
异常检测是指对数据中存在的不正常或非典型的分体进行检测和标志,有时也称为偏差检测。异常检测看起来和监督学习问题非常相似,都是分类问题。都是对样本的标签进行预测和判断,但是实际上两者的区别非常大,因为异常检测中的正样本(异常点)非常小。常用的算法有:
(1)一分类支持向量机:适用于数据特征较多的场景。
(2)基于PCA的异常检测:适用于训练时间短的场景。
常见的迁移学习类算法包含:归纳式迁移学习 、直推式迁移学习、无监督式迁移学习、传递式迁移学习。
常用算法:
1.决策树:
(1)决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
(2)决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。
(3)分类树(决策树)是一种十分常用的分类方法。
2.随机森林:
(1) 在机器学习中,随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。
PS: 分类器:分类器就是给定一个样本的数据,判定这个样本属于哪个类别的算法。
3.逻辑回归:https://blog.csdn.net/weixin_39445556/article/details/83930186
此博文详细介绍了逻辑回归和回归的区别