machine_learningヘッダファイルパッケージで用いている計算式
2. 交差エントロピー誤差
(Formula used in machine_learning header file package;
2. Cross entropy error)
出力層における教師データの計算値\(x_i^{(M+1,n)}\)と正解値\(t_i^{(n)}\)
(\(n=0,\cdots,N-1\); \(i=0,\cdots,J^{(M+1)}-1\))
を用いて交差エントロピー誤差は
\[\begin{equation}
E=-\frac{1}{N}\sum_{n=0}^{N-1}\sum_{i=0}^{J^{(M+1)}-1}t_i^{(n)}\ln x_i^{(M+1,n)}
\label{eq.E}
\end{equation}\]
と定義される。
The cross entropy error is defined by Eq. (\ref{eq.E}),
where \(x_i^{(M+1,n)}\) and \(t_i^{(n)}\)
(\(i=0,\cdots,J^{(M+1)}-1\); \(n=0,\cdots,N-1\))
are calculated and correct values, respectively, of the teaching data
in the output layer.
出力層における教師データの計算値\(x_i^{(M+1,n)}\)は
入力層での値\(x_i^{(0,n)}\)を元に漸化式
\[\begin{eqnarray}
y_j^{(m,n)}
&=& \sum_{i=0}^{J^{(m)}-1}W_{j,i}^{(m)}x_i^{(m,n)}+W_{j,J^{(m)}}^{(m)}
\nonumber \\
& & \left(m=0,\cdots,M; n=0,\cdots,N-1; j=0,\cdots,J^{(m+1)}-1\right)
\label{eq.x2y}
\end{eqnarray}\]
\[\begin{eqnarray}
x_j^{(m+1,n)}
&=& f_j^{(m)}\left(y_0^{(m,n)},\cdots,y_{J^{(m+1)}-1}^{(m,n)}\right)
\nonumber \\
& & \left(m=0,\cdots,M; n=0,\cdots,N-1; j=0,\cdots,J^{(m+1)}-1\right)
\label{eq.y2x}
\end{eqnarray}\]
を繰り返し用いて計算される。ここで\(f_j^{(m)}\)はユーザが定義する何らかの数学関数
(ジグモイド関数、ソフトマックス関数、ReLU関数など)である。
The value \(x_i^{(M+1,n)}\) of the teaching data in the output layer
is calculated from the input value \(x_i^{(0,n)}\)
using the recursive relations (\ref{eq.x2y}) and (\ref{eq.y2x}) repeatedly.
Here, \(f_j^{(m)}\) is a certain mathematical function defined by the user;
for example, the sigmoid, softmax, or ReLU function.
機械学習では(\ref{eq.E})-(\ref{eq.y2x})式
を用いて計算される交差エントロピー誤差\(E\)
を最小にするモデルパラメータ\(W_{j,i}^{(m)}\)を推定する。
In the machine learning, model parameters \(W_{j,i}^{(m)}\) are estimated
by minimizing the cross entropy error \(E\)
computed by Eqs. (\ref{eq.E})-(\ref{eq.y2x}).