1. 基本概念
回归（regression）是监督学习（given {(xi,yi)}）的一个重要分类。回归用于预测输入变量（自变量，Xi）与输出变量（因变量，Yi） 之间的关系，特定是当输入变量的值发生变化时，输出变量的值随之发生的变化。
回归模型正是表示从输入变量（xi∈Rn）到输出变量（y∈R，也就是一个一维的数值，如果输出也是多维呢？至少不是一个分类任务了）之间映射的函数。回归问题的学习等价于函数拟合，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。
- 学习 ⇒ 学习系统（learning phase）⇒ 对象（输入）是训练数据
- 预测 ⇒ 预测系统（predicate phase）⇒ 对象（输入）是测试数据
回归问题分为学习和预测两个过程。首先给定一个训练数据集：
T={(x1,y1),…,(xN,yN)}
学习系统基于训练数据构建一个模型，即函数 Y=f(X)；对新的输入 xN+1，预测系统根据学习到的模型 Y=f(X)，确定相应的输出（预测输出）yN+1。
- 回归问题按照输入变量的个数，分为一元回归和多元回归；
- 按照输入变量和输出变量之间关系（即模型的类型），分为线性模型和非线性模型；
二者一组合，就得出四种回归的分类了：一元线性，一元非线性，多元线性，多元非线性。
回归学习最常用到的损失函数是平方损失函数，在此问题下，回归问题可以由著名的最小二乘法（least squares）求解。
比如注明的线性回归问题：
Xβ=y⇒∥Xβ−y∥2=0⇒β^=(XTX)−1XTy
2. regressor 等概念的认识
Linear Regression with One Regressor
考虑如下的线性方程，
Yi=β0+β1Xi+ui
- β0 是（直线的）截距；
- β1 是斜率；
该线性方程，是一个具有单回归子（regressor）的回归模型，
- Y 是因变量，
- X 是独立变量（自变量）或者叫回归子（regressor）
β0+β1Xi 表示着总体回归函数，
- β0,β1 是参数（parameters）或者系数（coefficients）
ui 则是误差项（error term）
3. exponential regression model
What does a “closed-form solution” mean?
考虑如下的简单指数型回归模型，其唯一的 regressor 就是截距：
E[y]=exp{α}
目标函数为：
QN(α)=−12N∑iN(yi−exp{α})2
求和号展开，并对 α 求导，置 0，最终得，α⋆=lny¯