判别模型 由数据直接学习 决策函数 或者 条件概率分布 作为预测 的模型 。 它关心的是对给定的 输入X ， 应该预测 什么样的 输出Y 。 典型的判别模型包括：K近邻法、感知机、决策树、逻辑斯谛回归、最大熵模型、支持向量机、提升方法、 条件随机场 。

判别方法的特点：

直接学习的是 条件概率 ， 直接面对预测 ， 往往 学习的准确率 很高 ；

由于直接学习 ， 可以对数据 进行各种程度上的 抽象 、 定义特征 并 使用特征 ，因此 可以简化 学习问题 。

生成模型 由数据学习联合概率分布 ， 然后求出 条件概率分布 作为预测的模型 ：

因为模型表示了给定输入X产生输出Y的生成关系，所以被称为生成模型 。典型的生成模型有：朴素贝叶斯、隐马尔科夫模型

生成方法的特点：

生成方法 可以还原出联合概率分布 ， 而判别方法不能 ；