如果我们想原封不动的传送数据，也就是说建一个不做任何操作仅穿数据的层，可以利用Scale层，Python中写法如下：

 n.scale1 = L.Scale(n.pool2,name='scale1',param=dict(lr_mult=0),filler=dict(type="constant",value=1))
生成的prototxt协议文件如下：
 
layer {
  name: "scale1"
  type: "Scale"
  bottom: "pool2"
  top: "scale1"
  param {
    lr_mult: 0
  scale_param {
    filler {
      type: "constant"
      value: 1
功能： 使用scale_layer乘以一个标量0.01。
 test_scale_layer.py
 
#coding=UTF-8
import numpy as np
import caffe
# weight_file can be any prtrained models
weight_file = '../attention_network/snapshots_aflw_vgg16_klLoss_finetune_attention1/cross1/vgg_iter_10000.caffemodel'
deploy_file = 'scale_deploy.prototxt'
net = caffe.Net(deploy_file,weight_file,caffe.TEST)  
arr0 = np.array([[11,12,13],[21,22,23]]) # w11 w12 w13 for sample1, w21 w22 w23 for sample2
print(arr0.shape) # (2,3),2 stand for sample, 3 stand for channel
print(arr0)
arr = np.reshape(arr0,(arr0.shape[0],arr0.shape[1],1,1))
net.blobs['Features'].data[...] = arr 
net.forward()
feat = net.blobs['scale'].data
print('scale: ',feat.shape)
print(feat)
scale_deploy.prototxt
 
layer {
  name: "data"
  type: "Input"
  top: "Features"
  input_param {
    shape {
      dim: 2
      dim: 3
 	  dim: 1
 	  dim: 1
layer {
  name: "scale_layer"
  type: "Scale"
  bottom: "Features"
  top: "scale"
  param {
    lr_mult: 0
  scale_param {
    filler {
      type: "constant"
      value: 0.01
caffe 中为什么bn层要和scale层一起使用 
这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。 
1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。 
2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和...
                                    简介最近要对模型进行压缩使用slimming，因此需要scale层对scale_diff进行L1正则。所以对源码进行了阅读。 
公式： y = ax + b。 
公式比较简单。上述公式的意思是，对feature map乘以a，并加b。一个feature map共用一个a，因此 a的维度是 c ，这是理解源码的前提。 
反向传播： 
参数设置message ScaleParameter {  opti
caffe 中为什么bn层要和scale层一起使用
这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。2）y=alpha×x_norm +
  bottom: "inception_3a/concat"
  bottom: "inception_3a_prob_reshape"
  top: "inception_3a/output"
  scale_param {
                                    Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。
先说Batch是怎么确定的。在CNN中，Batch就是训练网络所设定的图片数量batch_size。
Normalization过程，引用论文中的解释：
输入：输入数据x1..xm（这些数据是准备进入激活函数的数据）
计算过程中可以看到,
1.求数据均值；
2.求数据方差；
3.数据进行...
                                          该文章大部分来自转载，里面也有自己的一些总结整理，如有不对，可以联系我，谢谢
       卷积层默认是开启卷积层的偏置项的，一般情况下，也都是让他开启着，一般学习得到的也就是权重w和偏置b。在卷积之后得到的数值的来源：wx+b。
        而且卷积可以增加通道之间的融合/交流，比如senet就是这样增加通道之间的融合，也就是channel attention，全局平局池化的...
                                    Caffe Scale层解析
前段时间做了caffe的batchnormalization层的解析，由于整体的BN层实现在Caffe是分段实现的，因此今天抽时间总结下Scale层次，也会后续两个层做合并做下铺垫。
基本公式梳理
Scale层主要完成 \(top = alpha*bottom+ beta\)的过程，则层中主要有两个参数\(alpha\)与\(beta\),
求导会比较简单...
                                    caffe中实现批量归一化（batch-normalization）需要借助两个层：BatchNorm 和 Scale 
BatchNorm实现的是归一化 
Scale实现的是平移和缩放 
在实现的时候要注意的是由于Scale需要实现平移功能，所以要把bias_term项设为true 
另外，实现BatchNorm的时候需要注意一下参数use_global_stats，在训练的时候设为false，在
[1] 对输入进行归一化，xnorm=x−μσxnorm=x−μσx_{norm} = \frac{x - \mu}{\sigma}，其中， μμ\mu 和 σσ\sigma 是...
optional int32 axis = 1 [default = 1];
指定第二个输入的形状大小，默认为axis = 1，即如例子中所示可能有(3; 3x40; 3x40x60;)三种形状。
optional i...
                                    参考：https://zhidao.baidu.com/question/621624946902864092.html
这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。
1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和
2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中...