计算机系统应用教程网站

网站首页 > 技术文章 正文

我是如何用5个概念理解的卷积神经网络?(Hadoop大数据)

btikc 2024-10-28 13:02:19 技术文章 10 ℃ 0 评论

大家觉得入门机器学习很难,其实是没有掌握好基础知识。俗话说“师傅领进门,修行在个人”,领进门其实也就是传授了基础知识,之后的发展就要靠自己努力了。

我在前两篇文章介绍了下面这16个基础概念,还不知道的小伙伴可以翻一下前面的文章。

1. 神经元(Neuron)

2. 加权/权重(Weights)

3. 偏置/偏倚(Bias)

4. 激活函数

5. 神经网络

6. 输入层/输出层/隐藏层

7. 多层感知器(MLP-Multi Layer Perceptron)

8. 正向传播(forward propagation)

9. 成本函数(cost function)

10. 梯度下降(gradient descent)

11. 学习速率(learning rate)

12. 反向传播(back propagation)

13. 分批(Batches)

14. 周期(epochs)

15. Dropout方法

16. 分批标准化(Batch Normalization)


今天就继续介绍一下稍微进阶5个概念,帮助你更快、更好的理解卷积神经网络。

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(alternating convolutional layer)和池层(pooling layer)。

(java类,java类,java类,java类,java类,java类,java类,java类,java类)


(1)过滤器/滤波器(Filter)

CNN中的滤波器,具体是指将一个权重矩阵,乘以输入图像的一部分,产生相应的卷积输出。

举个例子,一个28×28的图片,将一个3×3的滤波器与图片中3×3的矩阵依次相乘,以此来得到对应的卷积输出。滤波器的尺寸一般比原始图片小,与权重相似,在最小化成本的反向传播中,滤波器也会被更新。

可以参考下面这个图片,通过过滤器,依次乘以图片中每个3×3的分块,产生卷积的结果。

(hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组)


(2)CNN(卷积神经网络)

卷积神经网络通常用来处理图像数据,假设输入数据的形状为28×28×3(28pixels×28pixels×RGB Value),那么对于传统的神经网络来说就会有2352(28×28×3)个变量。随着图像尺寸的增加,那么变量的数量就会急剧增加。

因此,如果要降低变量的数量,可以对图片进行卷积。

随着过滤器沿着图像上宽和高的两个方向滑动,就会产生一个相应的2维激活映射,最后再沿纵向将所有的激活映射堆叠在一起,就产生了最后的输出。

(java类,java类,java类,java类,java类,java类,java类,java类,java类,java类)


(3)池化(pooling)

在卷积层中引入池化层的目的是为了进一步降低变量的数目同时防止过拟合。

如下图,最常用的池化层的操作是将原始图片中每个4×4分块取最大值形成一个新的矩阵,这叫做最大值池化(max pooling)。

也有人尝试比如平均池化(average pooling)之类的方式,但在实际情况中最大化池化拥有更好的效果。

(4)补白(padding)

如下图所示,补白(padding)通常是指给图像的边缘增加额外的空白,从而使得卷积后输出的图像跟输入图像在尺寸上一致,这也被称作相同补白(Same Padding)。

有效补白(Valid Padding)指的是保持图片上每个真实的像素点,不增加空白,因此在经历卷积后数据的尺寸会不断变小。(译者注:具体是指有效补白每次会丢弃最后不满足于一次卷积的像素点,比如说filter是3*3的,那么对于一行有32个pixel的数据,经历一次卷积后就会丢掉最后2个pixel;而通过相同补白,增加一个空白位,使每行有33个pixel,卷积后数据的尺寸不会变小。

(hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组,hadoop组)


(5)数据增强(Data Augmentation)

数据增强(Data Augmentation)指的是从已有数据中创造出新的数据,通过增加训练量以期望能够提高预测的准确率。

比如在说数字识别中,我们遇到的数字可能是倾斜或旋转的,因此如果将训练的图片进行适度的旋转,增大训练量,那么模型的准确性就可能会得到提高。通过“旋转”的操作,训练数据的品质得到了提升,这种过程被称作数据增强。



最后给准备学Hadoop的童鞋提个建议

对于准备或者正在学Hadoop童鞋,不建议一开始就看书。因为你不知道该怎么开始,哪里又是重点。

同事学Hadoop的时候给他介绍了几本书,结果他看的很吃力。后来他在论坛认识了一个X度的人,给了他一套视频。

他跟着视频学才找到学习的重点和方向,4个月就学会了,我看了一下那个视频确实讲的很好。

从0基础入门Hadoop,到Hadoop生态圈中各个组件的讲解都很详细。最重要的还是有很多真实的案例,怪不得同事学的这么快。

想让更多人认识到这个方法,少走弯路,用最少的时间学会Hadoop。

需要视频来学习的同学可以到 棚、友、圈,大家可以在 gan,shi,yu,1026 (没逗号)找到你需要的东西。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表