用Excel来阐释什么是多层卷积

时间:2019-08-18 21:51:06  阅读:5062+

原标题:用 Excel 来阐释什么是多层卷积

本来 Excel 也有这种妙用?!

原标题 | Multi-Channel Convolutions explained with… MS Excel!

作者 | Thom Lane

翻译 | 廖颖、希贝儿•兰姆、Diyz、micah壹路向北、通夜

修改 | Pita

在之前的系列里,咱们评论了 1D 卷积, 2D 卷积 ,3D 卷积,今日的咱们将会评论 4D 卷积,5D 卷积, 6D卷积…

恶作剧的,咱们将会评论一些更有用的,更简略用Excel 可视化的东西, 首要咱们看一下多输入通道中的卷积, 之后会评论多输出通道的卷积,在MXNET Gluon 中很简略。

多输入通道

现在 在卷积系列中咱们现已运用了:

  • 1D 卷积运用 一维数据(时刻)
  • 2D 卷积运用 二维数据 (高,宽)
  • 3D 卷积 运用 三维数据 (长 宽 高)

这儿 你会看到显着的运用方式,可是在这些简略的通讯之间躲藏了一个重要的细节。咱们输入的数据一般在每一个方位都界说了多个变量 (经过时刻,空间),不仅仅仅仅一个数值。咱们称其为通道。

Conv1D和多输入通道

来看一个风趣的比方,让咱们用冰激凌销售额的猜测作为事例。在咱们的时刻维度上,输入以天为距离,正态化咱们的产品价格,营销话费, 室外温度,是否为周末等数据。总计4个输入通道

图1:一个4通道的输入数组,覆盖了6个时刻距离

虽然输入数据看起来像二维,但只要一个维度是空间的。咱们等待从本地相邻阈值中找到模型,而不是跨过本地相邻值的通道变量。从一个随机序列的4个变量开端(A,B,C,D),咱们不等待在A&B ,B&C,C&D 之间找到类似的空间联系(假如咱们在这个维度上将将核层设为2)。

由于这个原因,在处理多通道时刻数据的时分,最好运用1D 卷积, 虽然数据看上去像是二维的。

运用了 1D 卷积之后 (卷积核的巨细是3) 咱们的卷积核看起来不同于上一篇文章的运用了单个通道的比方。这次咱们有4个输入通道,咱们的卷积核也会用4个通道初始化。所以虽然咱们运用了1D 卷积 可是咱们有一个2D 卷积核!一个1D 卷积只代表咱们在一个维度上滑动卷积核,可是并没有界说卷积核的形状,由于这也取决于输入通道的形状。

图2:一个 卷积核巨细为3 的1D 卷积, 运用于 一个4*6 的输入矩阵,输出一个1*4 的矩阵

图3:单元格Q4运用的Excel公式

进阶:在这种状况下, 一个卷积核形状为(3,4)的2D卷积,到达的作用是持平的,可是关于一个1D 卷积你不必具体列出通道的维度。咱们一般依赖于卷积核形状来揣度 (例如,在传入第一批数据之后),可是咱们一般能够指出输入通道的个数 经过 in_channels。在对公式增加内边距,宽度和扩张的时分, 2D 卷积核和1D 卷积可能是不相同的。

# define input_data and kernel as above # input_data.shape is (4, 6) # kernel.shape is (4, 3)

conv = mx.gluon.nn.Conv1D(channels=1, kernel_size=3)

# see appendix for definition of `apply_conv`output_data = apply_conv(input_data, kernel, conv)print(output_data)

# [[[24. 25. 22. 15.]]]# <NDArray 1x1x4 @cpu(0)>

咱们的代码比较单一输入通道的状况是没有改动的

在咱们用1D 卷积包装之前, 有一个十分值得一提的常见用例。在自然语言处理的模型中第一个阶段一般需求将有序的原始文本转化成有序的向量,要么是字符,单词或许句子向量。在每一个时刻跨度, 咱们有一个有特定数值的向量(比方 128), 每一个值代表了字符,单词或许句子的不同特点。咱们应当以为他们是时刻序列的比方,将他们作为通道。由于咱们跟着时刻的推移得到时刻通道,1D 卷积关于本地时刻模型的挑选十分有用。

Conv2D多通道输入

五颜六色图画也是多通道空间数据的一个十分好的比方。在每一个方位,咱们一般有3个通道来代表色彩:关于红,绿,蓝不同的色彩强度。但咱们这次有一些不相同的办法,咱们将运用2个空间维度:高,宽。

图4:五颜六色图画一般用3个通道代表 (来历:https:///howto/42393/rgb-cmyk-alpha-what-are-image-channels-and-what-do-they-mean/)

咱们的内核将相应地调整通道,即便咱们界说了一个3x3内核,初始化时内核的实在尺度将是3x3x3,由于咱们有3个输入通道。已然咱们又回到了三维,在运用MS Excel之前,让咱们先看一下three.js图。

图5:与3x3内核的2D卷积运用于巨细为5x5的3通道RGB输入,得到3x3的输出。(源地址:https://thomelane.github.io/convolutions/2DConvRGB.html)

有了上面的图表,假如你想看实践的图画,你应该考虑看上面的图,可是咱们感兴趣的是看到通道,因而咱们从滑动的视点看。查看此链接以取得上面图表的交互式版别:https://thomelane.github.io/convolutions/2DConvRGB.html。调查到一个风趣的现象是,内核的每个“层”都与输入的相应通道交互。

咱们能够在MS Excel中更具体地看到这一点。

图6:与3x3内核的2D卷积运用于巨细为5x5的3通道RGB输入,得到3x3的输出。

从这个视点来看,咱们以为每个通道都有自己的3x3内核。咱们将内核的每个“层”运用于相应的输入通道,并取得中心值,即每个通道的单个值。终究一步是对这些值求和,以取得输出的终究成果。疏忽0得到:

赤色输出= (3*2) +(1*1) = 7

绿色输出 = (1*2) +(1*3) = 5

蓝色输出 = (2*1) +(3*1) +(1*2) = 7

输出 = 赤色输出 + 绿色输出 + 蓝色输出 = 7 +5+ 7 = 19

在实践运用中咱们并不会真的去核算那些中心值,可是这样了解很好地诠释了不同输入通道之间的别离。由于咱们在终究要得到一切通道值的求和,每个内核实践上是在调查跨过一切通道的方式。

进阶:在上述状况下,该多输入卷积核其实等价于一个形状为(3,3,3)的三维卷积核,可是在用二维卷积的时分你不必指明有几个输入通道。事实上,咱们一般会运用关于数据的形状的获取(比方在输入第一批数据之后), 可是咱们仍然能够运用 in_channels 这个特点去指定输入通道的数量。当参加 填充,步长和空泛时,三维和二维卷积之间的等价联系或许会被损坏。

# define input_data and kernel as above# input_data.shape is (3, 5, 5)# kernel.shape is (3, 3, 3)

conv = mx.gluon.nn.Conv2D(channels=1, kernel_size=(3,3))

output_data = apply_conv(input_data, kernel, conv)print(output_data)

# [[[[19. 13. 15.]# [28. 16. 20.]# [23. 18. 25.]]]]# <NDArray 1x1x3x3 @cpu(0)>

在MXNet Gloun中的代码看起来跟单输入通道相同,可是请留意卷积核的形状黑(3,3,3), 由于咱们将每个卷积核都用在三个通道上,并且在每个通道中的视界域的长和宽均为3。因而,咱们卷积核的布局为(in_channels,hieght,width).

多输出通道的卷积

图7:ImageNet中,能够最大化卷积层中某些卷积核的图画区块(链接:https://arxiv.org/pdf/1311.2901.pdf)。

在咱们本系列第一个博客(https://medium.com/apache-mxnet/convolutions-explained-with-ms-excel-465d6649831c)中,咱们介绍了,卷积就像一个特征勘探器,卷积核界说了咱们想要勘探的特征。现在为止,在咱们一切给出的比方中,咱们在每层卷积上均只运用了一个卷积核,也便是说咱们仅仅在寻觅一个特征。明显,在图片分类,方针检测和切割等杂乱的使命中,咱们在每一层卷积网络中需求勘探多个特征。

图8:ImageNet中,能够最大化卷积层中某4个卷积核的图画区块(链接:https://arxiv.org/pdf/1311.2901.pdf)。

第一层卷积层,在勘探不同视点和不同色彩衬度(就像在多输入通道中咱们所看到的哪样)的边或许会很有用。然后在接下来的卷积层中,咱们或许就能勘探到螺旋,乃至狗脸。

在核算上,参加多个输出通道很简略。咱们需求几个输出通道,就只需求将前面的进程重复多少次,当然每次的卷积核是不同且独立的,之后咱们将这几回的输出叠在一同,搞定!

图9:一个1维的卷积层,具有4个巨细为3的卷积核,运用在形状 1x6 的矩阵上,给出了形状 4x4 的输出。

将这张图与上一个博客(https://medium.com/p/5f88c0f35941)中的图2进行比较。这儿的第一个卷积核和那个比方中的一模相同,并且咱们也得到了相同的(形状为 1x4)输出,可是在这儿咱们又加上了3个卷积核,终究的输出形状为 4x4。

一般,这很简略增加到 MXNet Gluon的卷积中。咱们需求做的,便是改动参数 channels ,把它设为4而不是1。

进阶:咱们之前说到一个跟这个参数看上去很像的一个参数 in_channels。留意二者的差异至关重要。in_channels 用于指定输入数据希望的通道数,而不是用卷积核形状来揣度(经过传入的第一批数据)。channels 被用来指定需求的输出通道数,比方卷积核/滤波器的数量。

之前,在上一篇文章里说到,一维数卷积的卷积核也是一维的。当有多个输入通道时,咱们有必要增加额定的维度来处理多通道问题。现在,咱们就在重视多个输出通道的问题,咱们现已看到另一个问题!也便是对一维卷积完成三维输出。其实这些维度一直到在(很抱愧又向你们隐秘),可是疏忽它们会使问题更简略,由于它们都是单位长度,并且只需求运用 apply_conv 就能够增加这些维度了。

从上面的比方能够看出,卷积的巨细为(4, 1, 3)。咱们有4个卷积核,每个核都被用在相同的一维(单通道)输入上,在时刻维度上,它们的宽度为3。因而,卷积核的方式就为(channels, in_channels, widths)。下表列出了更完好的默许维度方式以便查看。

表1:MXNet Gluon 默许维度

进阶:深度可别离卷积

常见卷积神经网络结构中大部分卷积都被用于多输入多输出问题。核算量与输出通道的数量成线性联系,但当参数 in_channels 和 channels 设置很大时,核算量也适当巨大。一种更有用的处理办法,便是运用深度可别离卷积。咱们看一下多输入通道(参见图5),图中在对输入通道求和之前有一个中心过程。运用深度可别离卷积,能够用1*1卷积替代求和操作。咱们基本上把卷积分为两个阶段:第一个阶段重视每个输入通道各自的空间方式,第二个阶段重视各个通道(不是空间上的)。

图10:常见卷积和深度可别离卷积

MXNet Gluon 中,能够运用卷积参数 groups 来指定怎么对操作进行分区。能够看看 用 MXNet Gluon 完成 MobileNet 这个运用实例。groups 用来设置输入通道的数量,然后给出深度可别离卷积。

进行试验

本文中展现的一切示例都能够在这些用于 Conv1D 和 Conv2D 的MS Excel电子表格中找到(或别离在此处和此处的谷歌表格中)。单击输出单元格查看公式,并测验运用不同的内核值更改输出。在MXnet Gluon中仿制您的成果后,我以为您能够在linkedIn配置文件中正式增加“卷积大师”作为标题!

接下来

但在咱们了解反卷积之前,这个系列是不会结束的!在这个系列的终究一篇博文中,咱们将看到两种不同的思想方式来考虑转置卷积,并看到一些实践的比方。

附录:

defapply_conv(data, kernel, conv):"""Args:data (NDArray): input data.kernel (NDArray): convolution's kernel parameters.conv (Block): convolutional layer.Returns:NDArray: output data (after applying convolution)."""# add dimensions for batch and channels if necessarywhiledata.ndim < len(conv.weight.shape):data = data.expand_dims(0)# add dimensions for channels and in_channels if necessarywhilekernel.ndim < len(conv.weight.shape):kernel = kernel.expand_dims(0)# check if transpose convolutioniftype(conv).__name__.endswith("Transpose"):in_channel_idx = 0else:in_channel_idx = 1# initialize and set weightconv._in_channels = kernel.shape[in_channel_idx]conv.initializeconv.weight.set_data(kernel)returnconv(data)

感谢 Simon Corston-Oliver.

via https://medium.com/apache-mxnet/multi-channel-convolutions-explained-with-ms-excel-9bbf8eb77108

责任修改: