第23章 前馈神经网络

第23章前馈神经网络

习题23.1

  构造前馈神经网络实现逻辑表达式XNOR，使用S型函数为激活函数。

解答：

解答思路：

1. 给出同或函数(XNOR)的输入和输出
2. 用神经网络实现的门表示XNOR
3. 设计神经网络实现XNOR
4. 自编程实现二层前馈神经网络表示XNOR

解答步骤：

第1步: 给出同或函数(XNOR)的输入和输出

  对于同或函数(XNOR)，全部的输入与对应的输出如下：

第2步: 用神经网络实现的门表示XNOR

  XNOR（同或门）和XOR（异或门）由于都是线性不可分的，不能由一层神经网络实现，但它们可由一层神经网络实现的门组合实现。

  一层神经网络可实现的门包括AND（与门，用x_1 \wedge x_2表示）、NOR（或非门，用\overline{x_1 \vee x_2}表示）、OR（或门，用x_1 \vee x_2表示）等。

  同或函数可表示：

第3步: 设计神经网络实现XNOR

  根据书中第23.1.1节的S型函数的定义：

S型函数（sigmoid function）又称为逻辑斯谛函数（logistic function），是定义式如下的非线性函数：

其中，z是自变量或输入，\sigma(z)是因变量或输出。函数的定义域为(-\infty, \infty)，值域为(0, 1)。

  可知：

  可设计如下二层前馈神经网络表示XNOR：

  根据书中第23.1.1节的二层前馈神经网络的矩阵表示：

二层前馈神经网络也可以用矩阵来表示，简称矩阵表示：

  其中，

第4步: 自编程实现二层前馈神经网络表示XNOR

import numpy as np

# 定义网络的权重W和偏置b
W1 = np.array([[20, -20], [20, -20]])
b1 = np.array([[-30], [10]])
W2 = np.array([[20], [20]])
b2 = np.array([[-10]])

def sigmoid(x):
    s = 1 / (1 + np.exp(-x))
    return s

def dnn_xnor(X):
    Z1 = W1.T.dot(X) + b1
    H = sigmoid(Z1)

    Z2 = W2.T.dot(H) + b2
    Y = sigmoid(Z2)
    
    return Y 
​

X = np.array([[0, 0, 1, 1],
              [0, 1, 0, 1]])

with np.printoptions(suppress=True):
    result = dnn_xnor(X)
    print(result)
​

[[0.99995456 0.00004548 0.00004548 0.99995456]]
​

习题23.2

  写出多标签分类学习中的损失函数以及损失函数对输出变量的导数。

解答：

解答思路：

1. 给出前馈神经网络学习在多标签分类时的模型
2. 写出多标签分类学习中的损失函数
3. 求损失函数对输出变量的导数

解答步骤：

第1步: 前馈神经网络学习在多标签分类时的模型

  根据书中第23.1.1节的前馈神经网络学习在多标签分类时的模型：

  用于多标签分类（multi-label classification）。神经网络的输出层有 l 个神经元，每个神经元的输出是一个概率值。神经网络表示为 \boldsymbol{p} = [P(y_k = 1 | \boldsymbol{x})] = f(\boldsymbol{x})，其中y_k \in \{0 , 1\}, k = 1, 2, \cdots, l，满足条件

0 < P(y_k = 1 | \boldsymbol{x}) < 1, \ P(y_k = 1 | \boldsymbol{x}) + P(y_k = 0 | \boldsymbol{x}) = 1, \ k = 1, 2, \cdots, l

\text{BCELoss}=-\frac{1}{N}\sum_{i=1}^N\sum_{k=1}^l [y_{ik} \log(p_{ik}) + (1 - y_{ik}) \log (1 - p_{ik})]

\begin{aligned}
\frac{\partial \text{BCELoss}}{\partial p_{ik}}
& = -\frac{1}{N} \left( \frac{y_{ik}}{p_{ik}} - \frac{1 - y_{ik}}{1 - p_{ik}} \right) \
& = -\frac{1}{N} \left( \frac{y_{ik} - y_{ik} p_{ik} - p_{ik} + y_{ik} p_{ik}}{p_{ik}(1 - p_{ik})} \right) \
& = \frac{p_{ik} - y_{ik} }{N p_{ik}(1 - p_{ik})}
\end{aligned}

\frac{\partial \text{BCELoss}}{\partial p_{ik}} = \frac{p_{ik} - y_{ik} }{N p_{ik}(1 - p_{ik})}

\boldsymbol{h}^{(0)} = \boldsymbol{x}

z^{(t)} = \boldsymbol{W}^{(t)} \boldsymbol{h}^{(t - 1)} + \boldsymbol{b}^{(t)} \
\boldsymbol{h}^{(t)} = a (z^{(t)})

\boldsymbol{\delta}^{(s)} = \boldsymbol{h}^{(s)} - \boldsymbol{y}

\nabla_{\boldsymbol{W}^{(t)}} L = \boldsymbol{\delta}^{(t)} \cdot {\boldsymbol{h}^{(t - 1)}}^T \
\nabla_{\boldsymbol{b}^{(t)}} L = \boldsymbol{\delta}^{(t)}

\boldsymbol{W}^{(t)} \leftarrow \boldsymbol{W}^{(t)} - \eta \nabla_{\boldsymbol{W}^{(t)}} L \
\boldsymbol{b}^{(t)} \leftarrow \boldsymbol{b}^{(t)} - \eta \nabla_{\boldsymbol{b}^{(t)}} L

\boldsymbol{\delta}^{(t - 1)} = \frac{\partial a}{\partial z^{(t - 1)}} \odot \left ( {\boldsymbol{W}^{(t)}}^T \cdot \boldsymbol{\delta}^{(t)} \right )

\frac{\text{d} L}{\text{d} z} = \frac{\text{d} L}{\text{d} f} \cdot \frac{\text{d} L}{\text{d} f} \cdot f (1 - f)

z_j^{(t)} \rightarrow \bar{z}_j^{(t)} \rightarrow \tilde{z}_j^{(t)}, \quad j = 1, 2, \cdots, n

z_j^{(t)} \rightarrow \bar{z}_j^{(t)} \rightarrow \tilde{z}_j^{(t)}, \quad j = 1, 2, \cdots, n

\begin{aligned}
\frac{\partial L}{\partial \gamma} &= \sum_{j=1}^N \frac{\partial L}{\partial {\tilde{z}_j}} \bar{z}_j \
\frac{\partial L}{\partial \beta} &= \sum_{i=1}^N \frac{\partial L}{\partial {\tilde{z}_j}} \
\frac{\partial L}{\partial \bar{z}_j} &= \frac{\partial L}{\partial {\tilde{z}_j}} \gamma \
\end{aligned}

\bar{z}_j = \frac{z_j - u}{ \sqrt{\sigma^2 + \epsilon}}, \quad j = 1, 2, \cdots, n \tag{23.61}

\frac{\partial L}{\partial {z_j}} = \frac{\partial L}{\partial \bar{z}_j} \frac{1}{\sqrt{\sigma^2 + \epsilon}} + \frac{\partial L}{\partial \mu} \cdot \frac{\partial \mu}{\partial z_j} + \frac{\partial L}{\partial \sigma^2} \cdot \frac{\partial \sigma^2}{\partial z_j}

u = \frac{1}{n} \sum_{j = 1}^n z_j \tag{23.59}

\sigma^2 = \frac{1}{n - 1} \sum_{j = 1}^n (z_j - u)^2 \tag{23.60}

\begin{aligned}
\frac{\partial L}{\partial \mu} &= \sum_{j=1}^n \frac{\partial L}{\partial \bar{z}j} \cdot \frac{-1}{\sqrt{\sigma^2 + \epsilon}} + \frac{\partial L}{\partial \sigma^2} \frac{\displaystyle - \sum{j=1}^n 2(z_j - \mu)}{n} \
\frac{\partial \mu}{\partial z_j} &= \frac{1}{n} \
\frac{\partial L}{\partial \sigma^2} &= \sum_{j=1}^n \frac{\partial L}{\partial \bar{z}_j} \cdot {(z_j - \mu)} \cdot \frac{-(\sigma^2 + \epsilon)^{-3/2}}{2} \
\frac{\partial \sigma^2}{\partial z_j} &= \frac{2(z_j - \mu)}{n} \
\frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial \bar{z}_j} \frac{1}{\sqrt{\sigma^2 + \epsilon}} + \frac{\partial L}{\partial \mu} \cdot \frac{1}{n} + \frac{\partial L}{\partial \sigma^2} \cdot \frac{2(z_j - \mu)}{n}
\end{aligned}

\delta_j^{(t)} = \frac{\partial L}{\partial z_j^{(t)}}

\begin{aligned}
\frac{\partial L}{\partial W^{(t)}}
&= \sum_{j=1}^n \frac{\partial L}{\partial z_j^{(t)}} \frac{\partial z_j^{(t)}}{\partial W^{(t)}} \
&= \sum_{j=1}^n \delta_j^{(t)} \cdot h_j^{(t-1)}
\end{aligned}

\begin{aligned}
\frac{\partial L}{\partial b^{(t)}}
&= \sum_{j=1}^n \frac{\partial L}{\partial z_j^{(t)}} \frac{\partial z_j^{(t)}}{\partial b^{(t)}} \
&= \sum_{j=1}^n \delta_j^{(t)}
\end{aligned}

\delta_j^{(t)} = \frac{\partial{a}}{\partial{\tilde{z}_j^{(t)}}} \cdot \frac{\partial \tilde{z}_j^{(t)}}{\partial z_j^{(t)}} \cdot W^{(t+1)} \cdot \delta_j^{(t+1)}

\delta^{(s)} = h^{(s)} -y

W^{(t)} \leftarrow W^{(t)}-\eta\nabla_{W^{(t)}}L \
b^{(t)} \leftarrow b^{(t)}-\eta\nabla_{b^{(t)}}L \
\gamma^{(t)} \leftarrow \gamma^{(t)}-\eta\nabla_{\gamma^{(t)}}L \
\beta^{(t)} \leftarrow \beta^{(t)}-\eta\nabla_{\beta^{(t)}}L

\delta_j^{(t-1)} = \frac{\partial{a}}{\partial{\tilde{z}_j^{(t - 1)}}} \cdot \frac{\partial \tilde{z}_j^{(t - 1)}}{\partial z_j^{(t - 1)}} \cdot W^{(t)} \cdot \delta_j^{(t)}

\tilde{\boldsymbol{h}} = \boldsymbol{d} \odot \boldsymbol{h} \tag{23.69}

\tilde{\boldsymbol{\delta}} = \boldsymbol{d} \odot \boldsymbol{\delta} \tag{23.70}

\tilde{\boldsymbol{h}}=p \cdot \boldsymbol{h} \tag{23.71}

\tilde{\boldsymbol{h}} = \boldsymbol{d} \odot \boldsymbol{h}

\tilde{\boldsymbol{h}}=p \cdot \boldsymbol{h}

\tilde{\boldsymbol{h}}= \frac{1}{p} \cdot \boldsymbol{d} \odot \boldsymbol{h} \tag{23.72}

\tilde{\boldsymbol{h}}= \frac{1}{p} \cdot \boldsymbol{d} \odot \boldsymbol{h}

\tilde{\boldsymbol{h}}= \boldsymbol{h}

y = a(W^{T}x+b)

E[\tilde{\boldsymbol{h}}{\text{drop}}] = E[\boldsymbol{d} \odot \boldsymbol{h}{\text{drop}}]

\begin{aligned}
E[\tilde{\boldsymbol{h}}{\text{drop}}] &= p \cdot \boldsymbol{h}{\text{drop}} + (1-p) \cdot 0 \
&= p \cdot \boldsymbol{h}_{\text{drop}}
\end{aligned}

y = p \cdot \boldsymbol{h}_{\text{drop}}

\boldsymbol{h}_{\text{drop}} = \frac{1}{p} \cdot y

\begin{aligned}
y_{\text{drop}} &= p \cdot \boldsymbol{h}_{\text{drop}} \
&= p \cdot \frac{1}{p} \cdot y \
&= y
\end{aligned}

E[\tilde{\boldsymbol{h}}{\text{inv}}] = E[\frac{1}{p} \cdot \boldsymbol{d} \odot \boldsymbol{h}{\text{inv}}]

\begin{aligned}
E[\tilde{\boldsymbol{h}}{\text{inv}}] &= \frac{1}{p} \cdot p \cdot \boldsymbol{h}{\text{inv}} + \frac{1}{p} \cdot (1-p) \cdot 0 \
&= \frac{1}{p} \cdot p \cdot \boldsymbol{h}{\text{inv}} \
&= \boldsymbol{h}{\text{inv}}
\end{aligned}

y = \boldsymbol{h}_{\text{inv}}

\begin{aligned}
y_{\text{inv}} &= \boldsymbol{h}_{\text{inv}} \
&= y
\end{aligned}