2.1 机器学习简介

机器学习即Machine Learning，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。目的是让计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。简单来讲，机器学习就是人们通过提供大量的相关数据来训练机器。例如，为了让机器算法明白什么是猫，则只需要通过提供数百万张猫的图片来训练它，算法在这些图像中找到重复的模式，并为自己确定如何定义猫的外观。在此之后，当有新照片出现时，它可以区分照片中是否含有猫。

2.1.1 机器学习如何分类

机器学习有多种分类，例如按任务类型可以分为回归模型、分类模型和结构化学习模型。回归模型是预测某个无法枚举的数值，例如明天的股价。分类模型顾名思义就是将样本分为两类或者多类，例如信用风险识别中的异常识别。结构化学习模型的输出不再是向量，而是其他结构，例如将给定的长文本聚集成短的总结。

机器学习也可以按照学习理论划分，则此时机器学习模型可以分为有监督学习、半监督学习、无监督学习、强化学习、迁移学习等。

1）如果训练样本带有标签即为有监督学习，即通过已有的训练样本（即已知数据以及其对应的输出）来训练网络从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断从而实现分类的目的，那么这个模型也就可以对未知数据进行分类。

2）如果训练样本部分有标签，部分无标签则是半监督学习。半监督学习在训练阶段结合了大量未标记的数据和少量标签数据。与使用所有标签数据的模型相比，使用训练集的训练模型在训练时可以更为准确，而且训练成本更低。

3）如果训练样本全部无标签，则是无监督学习。例如聚类算法。详细地讲，就是根据样本间的相似性对样本集进行聚类试图使类内差距最小化，类间差距最大化。

4）强化学习是智能体（Agent）通过与环境进行交互获得的奖赏来指导自己的行为，最终目标是使智能体获得最大的奖赏。与监督学习不同的是，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价，而不是告诉强化学习系统如何去产生正确的动作。

5）迁移学习是运用已存有的知识或者数据对不同但有关联的领域问题进行求解的机器学习方法。主要目的是通过迁移已有的知识或者数据来解决目标领域中有标签样本数据比较少甚至没有的学习问题。

2.1.2 什么是判别式模型和生成式模型

判别方法：由数据直接学习决策函数Y=f(X)，或者由条件分布概率P(Y|X)作为预测模型为判别模型。常见的判别模型有线性回归、boosting、SVM、决策树、感知机、线性判别分析（LDA）、逻辑斯蒂回归等算法。

生成方法：由数据学习x和y的联合概率密度分布函数P(Y,X)，然后通过贝叶斯公式求出条件概率分布P(Y|X)作为预测的模型为生成模型。常见的生成模型有朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型（LDA）等。