DL第七天

请你说说决策树

决策树是一种有监督的机器学习算法，该方法可以用于解决分类和回归问题。 
决策树可以简单地理解为达到某一特定结果的一系列决策。思考逻辑上，就像一连串的if-else，如果满足xx特征，则归为xx类别，否则则归为yy类别。

这其中的关键，就是如何选取特征。一棵树能选取的特征往往有限，限制了模型的性能。因此就有了随机森林。 

特征选择决定了使用哪些特征来做判断。在训练数据集中，每个样本的属性可能有很多个，不同属性的作用有大有小。因而特征选择的作用就是筛选出跟分类结果相关性较高的特征，也就是分类能力较强的特征。

优缺点 
优点 
决策树易于理解和解释，可以可视化分析，容易提取出规则； 
可以同时处理标称型和数值型数据； 
比较适合处理有缺失属性的样本； 
能够处理不相关的特征； 
测试数据集时，运行速度比较快； 
在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 
缺点 
容易发生过拟合（随机森林可以很大程度上减少过拟合）； 
容易忽略数据集中属性的相互关联； 
对于那些各类别样本数量不一致的数据，在决策树中，进行属性划分时，不同的判定准则会带来不同的属性选择倾向。 

 

卷积神经网络和全连接网络的根本不同之处在哪里

 

卷积神经网络至少包含一个卷积层，且最后一层通常是全连接层； 
全连接网络没有卷积层，只使用全连接层（以及非线性层）。 
所以关键是理解卷积层和全连接层的区别。 

全连接层

全连接，顾名思义，上一层的所有神经元要和下一层的每个神经元都链接，所以全连接层有三个特点： 
关注全局信息（每个点都和前后层的所有点链接） 
参数量巨大，计算耗时 
输入维度需要匹配（因为是矩阵运算，维度不一致无法计算） 

 

卷积层

局部链接：当前层的神经元只和下一层神经元的局部链接（并不是全连接层的全局链接） 
权重共享：神经元的参数（如上图的3*3卷积核），在整个特征图上都是共享的，而不是每个滑动窗口都不同 ，

也正是因为这两个特性，所以卷积层相比于全连接层有如下优点： 
需要学习的参数更少，从而降低了过度拟合的可能性，因为该模型不如完全连接的网络复杂。

 

但需要注意的是，无论是全连接层，还是卷积层，都是线性层，只能拟合线性函数，所以都需要通过ReLU等引入非线性，以增加模型的表达能力。