PRML第一章《绪论》
本章一共七个小章节
1.1从一个例子多项式曲线拟合
1.2讲解了概率论基础，分为6个小章节，天辰安卓版APP下载包括概率密度、期望与协方差、贝叶斯概率、高斯分布、重新考察曲线拟合问题以及贝叶斯曲线拟合
1.3模型选择
1.4维度灾难
1.5决策论，分为5个小章节，包括最小化错误分类率、最小化期望损失、拒绝选项、推断与决策以及回归问题的损失函数
1.6信息论，论述了相对熵与互信息
1.7练习

1.1从历史的角度
寻找数据中的模式的问题一直是分析和掌握规律的关键，比如行星运动规律和原子光谱规律，因此我们要研究的问题是利用计算机算法自动发现数据中的规律，并应用这些规律将数据进行分类。

例子：手写体识别，一张手写体识别图像，是由一定数量的像素构成的，天辰安卓版APP下载我们怎么根据像素构成区分出0~9呢？
目标：构建一个机器，能够以向量（28  28像素的图像，即由784个实数组成的向量）作为输入，以数字0~9作为输出。




分析：可以通过人工编写规则，或者依据笔画的形状区分数字，但是实际中使用这种方法将带来规则数量的激增以及不符合规则的例外，并且效果不好。

解决方法：引入机器学习！

术语：

训练集：一个由个数字{}组成的庞大的数据集合被称为，用来调节模型的参数。
目标向量：表示数字的类别，它代表对应数字的标签，类别是已知的，通常是被独立考察、人工标注的。
注意：对于每个数字图像只有一个目标向量。

学习：运行机器学习算法可以将数字的图像作为输入，通过函数，产生向量，它与目标向量的形式相同，这个阶段称为学习阶段。
测试集：一旦模型被训练出来，它就能确定新的数字的图像集合中的图像标签，这些新的数字图像就被成为测试集。
泛化：正确分类与训练集不同的新样本的能力。
预处理：对于大部分实际应用，原始输入向量通常被预处理，变换到新的变量空间，人们期待在新的变量空间中，模式识别问题可以被更容易的解决。
特征抽取：例如：数字识别中，将数字的图像进行转化缩放，这样极大地减少了每个数字类别的变化性，这个预处理阶段有时也被叫做。
降维：有时候为了加快计算速度也会进行预处理，比如人脸识别中，人脸像素太多，我们可以快速找到有用的特征，这些特征可以保存有用的判别信息使得人脸和非人脸可以正确区分开。由于这样的特征数量远远小于像素数量，因此这种预处理代表了一种形式的维数降低。
有监督学习：训练数据的样本包含输入向量以及对应的目标向量的应用。
分类：每个输入向量分配到有限数量离散标签中的一个
回归：要求的输出由一个或者多个连续变量组成（化学药品制造过程产量的预测，在这个问题中，输入由反应物、温度和压力组成）
聚类：训练数据由一组输入向量组成，没有任何的目标值，在这样的无监督学习问题中，目标可能是发现数据中相似样本的分组。
密度估计：训练数据由一组输入向量组成，没有任何的目标值，在这样的无监督学习问题中，发现输入空间中的数据分布。
数据可视化：把数据从高维空间投影到二维或者三维空间。
反馈学习：在给定的条件下，找到合适的动作，使奖励达到最大值。在这里，学习问题没有给最优输出的用例，这些用例必须在一系列的实验和错误中被发现。（例如神经网络学习backgammon游戏，神经网络学习把一大组位置信息、筛子投掷的结果作为输入，产生一个好的移动作为输出，神经网络和自己玩100万局，并在游戏结束后给出奖励，奖励被合理分配到所有引起胜利的移动步骤，这是信用分配的一个例子）。反馈学习的一个通用的特征是探索和利用的折衷。
探索：系统尝试新类型的动作。
利用：使用已知能产生较高奖励的动作。