machine_learningヘッダファイルパッケージで用いている計算式
4. 交差エントロピー誤差\(E\)のモデルパラメータ\(W_{j,i}^{(m)}\)による微分
4.3. 両方の場合をまとめた式
(Formula used in machine_learning header file package;
4. Derivative of the cross entropy error \(E\)
with respect to model parameters \(W_{j,i}^{(m)}\);
4.3. Unified formula for the both cases)
前節までで以下の式が得られた。
The formula below were obtained in the previous sections.
- 4.1節の(3)式
Eq. (3) of section 4.1:
\[\begin{eqnarray}
\PartialDiff{E}{W_{j,i}^{(m)}}
&=& -\frac{1}{N}\sum_{n=0}^{N-1}
\left[\left(1-\delta_{iJ^{(m)}}\right)x_{i}^{(m,n)}
+\delta_{iJ^{(m)}}\right]
\sum_{i’=0}^{J^{(M+1)}-1}
\frac{t_{i’}^{(n)}}{x_{i’}^{(M+1,n)}}D_{i’,j}^{(m,n)}
\nonumber \\
& & \left(m=0,\cdots,M-1; i=0,\cdots,J^{(m)}; j=0,\cdots,J^{(m+1)}-1\right)
\label{eq.dEdW.useD.small_m}
\end{eqnarray}\]
- 4.2節の(5)式
Eq. (5) of section 4.2:
\[\begin{eqnarray}
\PartialDiff{E}{W_{j,i}^{(M)}}
&=& -\frac{1}{N}\sum_{n=0}^{N-1}
\left[\left(1-\delta_{iJ^{(M)}}\right)x_{i}^{(M,n)}
+\delta_{iJ^{(M)}}\right]
\nonumber \\
& & \sum_{i’=0}^{J^{(M+1)}-1}
\frac{t_{i’}^{(n)}}{x_{i’}^{(M+1,n)}}
\left[D_{i’,j}^{(M,n)}-D_{i’,J^{(M+1)}-1}^{(M,n)}\right]
\nonumber \\
& & \left(i=0,\cdots,J^{(M)}; j=0,\cdots,J^{(M+1)}-2\right)
\label{eq.dEdW.useD.mM}
\end{eqnarray}\]
(\ref{eq.dEdW.useD.small_m})(\ref{eq.dEdW.useD.mM})式はまとめて
\[\begin{eqnarray}
\PartialDiff{E}{W_{j,i}^{(m)}}
&=& -\frac{1}{N}\sum_{n=0}^{N-1}
\left[\left(1-\delta_{iJ^{(m)}}\right)x_{i}^{(m,n)}
+\delta_{iJ^{(m)}}\right]
\nonumber \\
& & \sum_{i’=0}^{J^{(M+1)}-1}
\frac{t_{i’}^{(n)}}{x_{i’}^{(M+1,n)}}
\left[D_{i’,j}^{(m,n)}-D_{i’,J^{(M+1)}-1}^{(M,n)}
\delta_{mM}\right]
\nonumber \\
& & \left(m=0,\cdots,M; i=0,\cdots,J^{(m)}; j=0,\cdots,J^{(m+1)}-1;
\right. \nonumber \\
& & \left. m\neq M \mbox{ or } j\neq J^{(m+1)}-1\right)
\label{eq.dEdW.useD}
\end{eqnarray}\]
と書ける。
Eqs. (\ref{eq.dEdW.useD.small_m}) and (\ref{eq.dEdW.useD.mM})
can be unified as (\ref{eq.dEdW.useD}).