1. 监督学习

优质
小牛编辑
129浏览
2023-12-01
  • 1.1. 广义线性模型
    • 1.1.1. 普通最小二乘法
      • 1.1.1.1. 普通最小二乘法复杂度
    • 1.1.2. 岭回归
      • 1.1.2.1. 岭回归的复杂度
      • 1.1.2.2. 设置正则化参数:广义交叉验证
    • 1.1.3. Lasso
      • 1.1.3.1. 设置正则化参数
        • 1.1.3.1.1. 使用交叉验证
        • 1.1.3.1.2. 基于信息标准的模型选择
        • 1.1.3.1.3. 与 SVM 的正则化参数的比较
    • 1.1.4. 多任务 Lasso
    • 1.1.5. 弹性网络
    • 1.1.6. 多任务弹性网络
    • 1.1.7. 最小角回归
    • 1.1.8. LARS Lasso
      • 1.1.8.1. 数学表达式
    • 1.1.9. 正交匹配追踪法(OMP)
    • 1.1.10. 贝叶斯回归
      • 1.1.10.1. 贝叶斯岭回归
      • 1.1.10.2. 主动相关决策理论 - ARD
    • 1.1.11. logistic 回归
    • 1.1.12. 随机梯度下降, SGD
    • 1.1.13. Perceptron(感知器)
    • 1.1.14. Passive Aggressive Algorithms(被动攻击算法)
    • 1.1.15. 稳健回归(Robustness regression): 处理离群点(outliers)和模型错误
      • 1.1.15.1. 各种使用场景与相关概念
      • 1.1.15.2. RANSAC: 随机抽样一致性算法(RANdom SAmple Consensus)
        • 1.1.15.2.1. 算法细节
      • 1.1.15.3. Theil-Sen 预估器: 广义中值估计器(generalized-median-based estimator)
        • 1.1.15.3.1. 算法理论细节
      • 1.1.15.4. Huber 回归
      • 1.1.15.5. 注意
    • 1.1.16. 多项式回归:用基函数展开线性模型
  • 1.2. 线性和二次判别分析
    • 1.2.1. 使用线性判别分析来降维
    • 1.2.2. LDA 和 QDA 分类器的数学公式
    • 1.2.3. LDA 的降维数学公式
    • 1.2.4. Shrinkage(收缩)
    • 1.2.5. 预估算法
  • 1.3. 内核岭回归
  • 1.4. 支持向量机
    • 1.4.1. 分类
      • 1.4.1.1. 多元分类
      • 1.4.1.2. 得分和概率
      • 1.4.1.3. 非均衡问题
    • 1.4.2. 回归
    • 1.4.3. 密度估计, 异常(novelty)检测
    • 1.4.4. 复杂度
    • 1.4.5. 使用诀窍
    • 1.4.6. 核函数
      • 1.4.6.1. 自定义核
        • 1.4.6.1.1. 使用 python 函数作为内核
        • 1.4.6.1.2. 使用 Gram 矩阵
        • 1.4.6.1.3. RBF 内核参数
    • 1.4.7. 数学公式
      • 1.4.7.1. SVC
      • 1.4.7.2. NuSVC
      • 1.4.7.3. SVR
    • 1.4.8. 实现细节
  • 1.5. 随机梯度下降
    • 1.5.1. 分类
    • 1.5.2. 回归
    • 1.5.3. 稀疏数据的随机梯度下降
    • 1.5.4. 复杂度
    • 1.5.5. 实用小贴士
    • 1.5.6. 数学描述
      • 1.5.6.1. SGD
    • 1.5.7. 实现细节
  • 1.6. 最近邻
    • 1.6.1. 无监督最近邻
      • 1.6.1.1. 找到最近邻
      • 1.6.1.2. KDTree 和 BallTree 类
    • 1.6.2. 最近邻分类
    • 1.6.3. 最近邻回归
    • 1.6.4. 最近邻算法
      • 1.6.4.1. 暴力计算
      • 1.6.4.2. K-D 树
      • 1.6.4.3. Ball 树
      • 1.6.4.4. 最近邻算法的选择
      • 1.6.4.5. leaf_size 的影响
    • 1.6.5. 最近质心分类
      • 1.6.5.1. 最近缩小质心
  • 1.7. 高斯过程
    • 1.7.1. 高斯过程回归(GPR)
    • 1.7.2. GPR 示例
      • 1.7.2.1. 具有噪声级的 GPR 估计
      • 1.7.2.2. GPR 和内核岭回归(Kernel Ridge Regression)的比较
      • 1.7.2.3. Mauna Loa CO2 数据中的 GRR
    • 1.7.3. 高斯过程分类(GPC)
    • 1.7.4. GPC 示例
      • 1.7.4.1. GPC 概率预测
      • 1.7.4.2. GPC 在 XOR 数据集上的举例说明
      • 1.7.4.3. iris 数据集上的高斯过程分类(GPC)
    • 1.7.5. 高斯过程内核
      • 1.7.5.1. 高斯过程内核 API
      • 1.7.5.2. 基础内核
      • 1.7.5.3. 内核操作
      • 1.7.5.4. 径向基函数内核
      • 1.7.5.5. Matérn 内核
      • 1.7.5.6. 有理二次内核
      • 1.7.5.7. 正弦平方内核
      • 1.7.5.8. 点乘内核
      • 1.7.5.9. 参考文献
    • 1.7.6. 传统高斯过程
      • 1.7.6.1. 回归实例介绍
      • 1.7.6.2. 噪声数据拟合
      • 1.7.6.3. 数学形式
        • 1.7.6.3.1. 初始假设
        • 1.7.6.3.2. 最佳线性无偏预测(BLUP)
        • 1.7.6.3.3. 经验最佳线性无偏估计(EBLUP)
      • 1.7.6.4. 关联模型
      • 1.7.6.5. 回归模型
      • 1.7.6.6. 实现细节
  • 1.8. 交叉分解
  • 1.9. 朴素贝叶斯
    • 1.9.1. 高斯朴素贝叶斯
    • 1.9.2. 多项分布朴素贝叶斯
    • 1.9.3. 伯努利朴素贝叶斯
    • 1.9.4. 堆外朴素贝叶斯模型拟合
  • 1.10. 决策树
    • 1.10.1. 分类
    • 1.10.2. 回归
    • 1.10.3. 多值输出问题
    • 1.10.4. 复杂度分析
    • 1.10.5. 实际使用技巧
    • 1.10.6. 决策树算法: ID3, C4.5, C5.0 和 CART
    • 1.10.7. 数学表达
      • 1.10.7.1. 分类标准
      • 1.10.7.2. 回归标准
  • 1.11. 集成方法
    • 1.11.1. Bagging meta-estimator(Bagging 元估计器)
    • 1.11.2. 由随机树组成的森林
      • 1.11.2.1. 随机森林
      • 1.11.2.2. 极限随机树
      • 1.11.2.3. 参数
      • 1.11.2.4. 并行化
      • 1.11.2.5. 特征重要性评估
      • 1.11.2.6. 完全随机树嵌入
    • 1.11.3. AdaBoost
      • 1.11.3.1. 使用方法
    • 1.11.4. Gradient Tree Boosting(梯度树提升)
      • 1.11.4.1. 分类
      • 1.11.4.2. 回归
      • 1.11.4.3. 训练额外的弱学习器
      • 1.11.4.4. 控制树的大小
      • 1.11.4.5. Mathematical formulation(数学公式)
        • 1.11.4.5.1. Loss Functions(损失函数)
      • 1.11.4.6. Regularization(正则化)
        • 1.11.4.6.1. 收缩率 (Shrinkage)
        • 1.11.4.6.2. 子采样 (Subsampling)
      • 1.11.4.7. Interpretation(解释性)
        • 1.11.4.7.1. Feature importance(特征重要性)
        • 1.11.4.7.2. Partial dependence(部分依赖)
    • 1.11.5. Voting Classifier(投票分类器)
      • 1.11.5.1. 多数类标签 (又称为 多数/硬投票)
        • 1.11.5.1.1. 用法
      • 1.11.5.2. 加权平均概率 (软投票)
      • 1.11.5.3. 投票分类器(VotingClassifier)在网格搜索(GridSearch)应用
        • 1.11.5.3.1. 用法
  • 1.12. 多类和多标签算法
    • 1.12.1. 多标签分类格式
    • 1.12.2. 1对其余
      • 1.12.2.1. 多类学习
      • 1.12.2.2. 多标签学习
    • 1.12.3. 1对1
      • 1.12.3.1. 多类别学习
    • 1.12.4. 误差校正输出代码
      • 1.12.4.1. 多类别学习
    • 1.12.5. 多输出回归
    • 1.12.6. 多输出分类
    • 1.12.7. 链式分类器
  • 1.13. 特征选择
    • 1.13.1. 移除低方差特征
    • 1.13.2. 单变量特征选择
    • 1.13.3. 递归式特征消除
    • 1.13.4. 使用 SelectFromModel 选取特征
      • 1.13.4.1. 基于 L1 的特征选取
      • 1.13.4.2. 基于 Tree(树)的特征选取
    • 1.13.5. 特征选取作为 pipeline(管道)的一部分
  • 1.14. 半监督学习
    • 1.14.1. 标签传播
  • 1.15. 等式回归
  • 1.16. 概率校准
  • 1.17. 神经网络模型(有监督)
    • 1.17.1. 多层感知器
    • 1.17.2. 分类
    • 1.17.3. 回归
    • 1.17.4. 正则化
    • 1.17.5. 算法
    • 1.17.6. 复杂度
    • 1.17.7. 数学公式
    • 1.17.8. 实用技巧
    • 1.17.9. 使用 warm_start 的更多控制