def feedforward(self, a):
"""Return the output of the network if a is input."""
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a)+b)
return a

# sizes = [784, 30, 10]
def __init__(self, sizes):
self.num_layers = len(sizes)
self.sizes = sizes
self.biases = [np.random.randn(y, 1) for y in sizes[1:]]
self.weights = [np.random.randn(y, x)for x, y in zip(sizes[:-1], sizes[1:])]

class Network(object):
  def update_mini_batch(self, mini_batch, eta):
    # mini_batch是batch大小，eta是learning rate

    nabla_b = [np.zeros(b.shape) for b in self.biases]
    # 構(gòu)造和self.biases一樣大小的向量，比如前面的例子 sizes=[784,30,10]，則
    # nabla_b是兩個(gè)向量，大小分別是30和10

    nabla_w = [np.zeros(w.shape) for w in self.weights]
    # 構(gòu)造和self.weights一樣大小的矩陣，比如前面的例子 sizes=[784,30,10]，則
    # nabla_w是兩個(gè)矩陣，大小分別是30*784和10*30

    for x, y in mini_batch: #對(duì)于每個(gè)訓(xùn)練樣本x和y
 delta_nabla_b, delta_nabla_w = self.backprop(x, y)
 # 用backprop函數(shù)計(jì)算損失函數(shù)對(duì)每一個(gè)參數(shù)的偏導(dǎo)數(shù)。
 # backprop函數(shù)下面會(huì)詳細(xì)講解

 nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
 # 把返回的對(duì)b偏導(dǎo)數(shù)累加到nabla_b中

 nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
 # 把返回的對(duì)w的偏導(dǎo)數(shù)累加到nabla_w中

    self.weights = [w-(eta/len(mini_batch))*nw
  for w, nw in zip(self.weights, nabla_w)]
    # 計(jì)算完一個(gè)batch后更新參數(shù)w

    self.biases = [b-(eta/len(mini_batch))*nb
 for b, nb in zip(self.biases, nabla_b)]
    # 更新b
...
 def backprop(self, x, y):
    # 輸入是x和y，返回?fù)p失函數(shù)C對(duì)每個(gè)參數(shù)w和b的偏導(dǎo)數(shù)
    # 返回的格式是兩個(gè)元組，第一個(gè)是b的偏導(dǎo)數(shù)，第二個(gè)是w的。
    nabla_b = [np.zeros(b.shape) for b in self.biases]
    # 構(gòu)造和self.biases一樣大小的向量，比如前面的例子 sizes=[784,30,10]，則
    # nabla_b是兩個(gè)向量，大小分別是30和10

    nabla_w = [np.zeros(w.shape) for w in self.weights]
    # 構(gòu)造和self.weights一樣大小的矩陣，比如前面的例子 sizes=[784,30,10]，則
    # nabla_w是兩個(gè)矩陣，大小分別是30*784和10*30

    # feedforward
    activation = x
    activations = [x] # 用一個(gè)list保存所有層的激活，下面backward會(huì)有用的
    zs = [] # 同樣的用一個(gè)list保存所有層的加權(quán)累加和z，下面也會(huì)用到。

    #下面這段代碼在feedward也有，不過那里是用來predict用的不需要保存zs和activations
    for b, w in zip(self.biases, self.weights):
 z = np.dot(w, activation)+b
 zs.append(z)
 activation = sigmoid(z)
 activations.append(activation)

   # backward pass
  #1. 首先計(jì)算最后一層的錯(cuò)誤delta，根據(jù)公式BP1，它是損失函數(shù)對(duì)a_L的梯度乘以σ'(z_L)
    #  sigmoid_prime就是σ'(z_L)，而∂C/∂a_L就是函數(shù)cost_derivative，對(duì)于MSE的損失函數(shù)，
    #  它就是最后一層的激活activations[-1] - y
    delta = self.cost_derivative(activations[-1], y) * \
 sigmoid_prime(zs[-1])
    # 2. 根據(jù)公式BP3,損失對(duì)b的偏導(dǎo)數(shù)就是delta
    nabla_b[-1] = delta
    # 3. 根據(jù)公式BP4,損失對(duì)w的偏導(dǎo)數(shù)時(shí)delta_out * activation_in
    #  注意，我們的公式BP4是elementwise的，我們需要寫成矩陣向量的形式
    #  那怎么寫呢？我們只需要關(guān)心矩陣的大小就行了。
    #  假設(shè)最后一層有m(10)個(gè)神經(jīng)元，前一層有n(30)個(gè)，
    #  則delta是10*1, 倒數(shù)第二層的激活activations[-2]是30*1
    #  我們想求的最后一層的參數(shù)nabla_w[-1]是10*30，那么為了能夠正確的矩陣乘法，
    #  只要一種可能就是 delta 乘以 activations[-2]的轉(zhuǎn)置，其實(shí)也就是向量delta和activations[-2]的外積
    nabla_w[-1] = np.dot(delta, activations[-2].transpose())

    # 接下來從倒數(shù)第二層一直往前計(jì)算delta，同時(shí)也把對(duì)w和b的偏導(dǎo)數(shù)求出來。
    # 這里用到一個(gè)比較小的trick就是python的下標(biāo)是支持負(fù)數(shù)的，-1表示最后一個(gè)元素，-2是倒數(shù)第二個(gè)
    # l表示倒數(shù)第l層，2就表示倒數(shù)第2層，num_layers - 1就表示順數(shù)第2層（也就是第1個(gè)隱層）
    # 比如我們的例子：sizes=[784, 30, 10]，那么l就是從2到3（不包含3），l就只能是2，頁(yè)就是第1個(gè)（也是唯一的一
    # 個(gè)）隱層   
    for l in xrange(2, self.num_layers):
 # 倒數(shù)第l層的z
 z = zs[-l]
 # 計(jì)算σ'(z_l)
 sp = sigmoid_prime(z)
 # 根據(jù)BP2，計(jì)算delta_l,注意weights[-l+1]表示倒數(shù)第l層的下一層
 delta = np.dot(self.weights[-l+1].transpose(), delta) * sp
 # 同上，根據(jù)BP3
 nabla_b[-l] = delta
 # BP4，矩陣乘法參考前面的說明
 nabla_w[-l] = np.dot(delta, activations[-l-1].transpose())
    return (nabla_b, nabla_w)