machine_learningヘッダファイルパッケージで用いている計算式
1. 数学関数の定義と微分形
関数ReLU
(Formula used in machine_learning header file package;
1. Definitions and differential forms of mathematical functions
— function ReLU)
◆定義(Definition)
\[\begin{equation}
f(y)=
\begin{cases}
y & (y>0) \\
0 & (y\leq 0)
\end{cases}
\end{equation}\]
◆微分形(Derivative)
\[\begin{eqnarray}
f’(y)=
\begin{cases}
1 & (y>0) \\
0 & (y\leq 0)
\end{cases}
\end{eqnarray}\]
本来は\(y=0\)での微分は定義できないが、
\(y=0\)においても\(f’(y)=0\)として計算を行う。
Although the derivative at \(y=0\) is not defined,
\(f’(y)=0\) is assumed at \(y=0\) in the calculation.