Mariana

CART分类回归树算法 与上次文章中提到的ID3算法和C4.5算法类似，CART算法也是一种决策树分类算法。CART分类回归树算法的本质也是对数据进行分类的，最终数据的表现形式也是以树形的模式展现的，与ID3，C4.5算法不同的是，他的分类标准所采用的算法不同了。下面列出了其中的一些不同之处： 1、CART最后形成的树是一个二叉树，每个节点会分成2个节点，左孩子节点和右孩子节点，而在ID3和C4.

  spark.mllib提供了多种方法用于用于二分类、多分类以及回归分析。 下表介绍了每种问题类型支持的算法。 问题类型 支持的方法 二分类 线性SVMs、逻辑回归、决策树、随机森林、梯度增强树、朴素贝叶斯 多分类 逻辑回归、决策树、随机森林、朴素贝叶斯 回归 线性最小二乘、决策树、随机森林、梯度增强树、保序回归   点击链接，了解具体的算法实现。 分类和回归 线性模型 SVMs(支持向量机)

1 保序回归   保序回归解决了下面的问题：给定包含n个数据点的序列 y_1,y_2,...,y_n , 怎样通过一个单调的序列 beta_1,beta_2,...,beta_n 来归纳这个问题。形式上，这个问题就是为了找到   大部分时候，我们会在括号前加上权重w_i。解决这个问题的一个方法就是 pool adjacent violators algorithm(PAVA) 算法。粗略的讲，PA

1 基本概念 1.1 生存数据   生存数据就是关于某个体生存时间的数据。生存时间就是死亡时间减去出生时间。例如，以一个自然人的出生为“出生”，死亡为“死亡”。 那么，死亡时间减去出生时间，就是一个人的寿命，这是一个典型的生存数据。类似的例子，还可以举出很多。所有这些数据都有一个共同的特点， 就是需要清晰定义的：出生和死亡 。如果用死亡时间减去出生时间，就产生了一个生存数据。因为死亡一定发生在出生

主要内容：初识支持向量机,支持向量机组成,支持向量机本质,支持向量机应用,总结支持向量机，英文全称“Support Vector Machines”（简称 SVM），它是机器学习中最常用的一种“分类算法”。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中可谓“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”，下面我们将介绍本节的主人公——支持向量机（SVM）。 初识支持向量机 支持向量机是有监督

  集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化能力。   根据个体学习器的生成方式，目前的集成学习方法大致可以分为两大类。即个体学习器之间存在强依赖性，必须串行生成的序列化方法以及个体学习器之间不存在强依赖性，可同时生成的并行化方法。 前者的代表是Boosting，后者的代表是Bagging和随机森

1 决策树理论 1.1 什么是决策树   所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。 树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，从根节点到叶节点所经历的路径对应一个判定测试序列。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。 1.2 决策树学习流

  许多标准的机器学习算法可以归结为凸优化问题。例如，找到凸函数f的一个极小值的任务，这个凸函数依赖于可变向量w（在spark源码中，一般表示为weights）。 形式上，我们可以将其当作一个凸优化问题${min}_{w}f(w)$。它的目标函数可以表示为如下公式 (1)：   在上式中，向量x表示训练数据集，y表示它相应的标签，也是我们想预测的值。如果L(w;x,y)可以表示为${w}^{T}x