MachineLearning 一些概念

基础概念

supervised learning 监督学习

• classfication
• registion

unsupervised learning 无监督学习

• cluster
• Dimensionality reduction（PCA）

reinforcement learning 加强学习
samples(instances,observations) 样本
features(attributes,measurements,dimensions) 特征
class labels(targets) 标签

loss/cost function 损失函数

• 平方损失函数
• log损失函数
• L1，L2正则化项来控制过拟合

Gradient descen 梯度下降
α (超参数-hyper parameter )学习率
underfitting/overfitting
sigmoid函数 :
$$g(x)=\frac{1}{1+e^{-x}}$$
运用逻辑回归解决（多）分类问题：

• one vs one
• one vs rest

eigenvector 特征向量
eigenvalue 特征值

决策树 Decision Tree

Entropy 熵
Information Gain 信息增益
Overfitting

• Prrune 剪枝
• GainRatio 增益率

决策树 Ensemble 集成

• Bagging

• Random Forest

• Boosting

  • GBDT
  • XGBoost