The documentation of “machine_learning/cross

machine_learning/cross_entropy.h マニュアル

(The documentation of machine_learning/cross_entropy.h)

Last Update: 2024/10/10

machine_learning/cross_entropy.hでは交差エントロピーおよび関連する量を計算する関数が定義されている。このヘッダファイル内で定義されている関数を以下に示す。各関数の詳細は関数名をクリックしてリンク先を参照のこと。
Functions to calculate the cross entropy and related quantities are defined in machine_learning/cross_entropy.h. Functions defined in this header file are listed below. For details of individual functions, click the links.

各関数の役割と使用手順の概略 (An overview of the roles of the functions and steps to use them)

機械学習のコードの中で直接用いるのは通常
- ML_calculate_all_xy
- ML_cross_entropy
- ML_cross_entropy_derivative
の3つの関数である。他の関数はこれらの関数の内部で用いられるだけのものと思えば良い。
In the machine learning codes, the following three functions are usually used:
- ML_calculate_all_xy,
- ML_cross_entropy, and
- ML_cross_entropy_derivative.
The other functions are not directly used but only used internally within these three functions.
基本的な計算手順は以下の3ステップとなる。
Basically, calculations are conducted by the following three steps:
1. 関数ML_calculate_all_xyを用いて \(x_i^{(m,n)}\), \(y_i^{(m,n)}\)を計算する。
  The values of \(x_i^{(m,n)}\) and \(y_i^{(m,n)}\) are computed using the function ML_calculate_all_xy.
2. ステップ1で求めた\(x_i^{(M+1,n)}\)を用いて関数ML_cross_entropyにより交差エントロピー誤差\(E\)を計算する。
  The cross entropy error \(E\) is computed using the function ML_cross_entropy with the \(x_i^{(M+1,n)}\) values obtained by step 1.
3. ステップ1で求めた\(x_i^{(m,n)}\), \(y_i^{(m,n)}\)を用いて関数ML_cross_entropy_derivativeにより交差エントピー誤差のモデルパラメータによる微分 \(\partial E / \partial W_{j,i}^{(m)}\) を計算する。
  The derivatives of the cross entropy error by model parameters, \(\partial E / \partial W_{j,i}^{(m)}\), are computed using the function ML_cross_entropy_derivative with the \(x_i^{(m,n)}\) and \(y_i^{(m,n)}\) values obtained by step 1.
関数ML_x2y, ML_y2xは特定の1つの\(m\), \(n\)について \(x_i^{(m,n)}\), \(y_i^{(m,n)}\)を計算するものであり、関数ML_calculate_all_xyの内部で用いられている。
The functions ML_x2y and ML_y2x compute \(x_i^{(m,n)}\) and \(y_i^{(m,n)}\) for single \(m\) and \(n\) values; these functions are used internally within the function ML_calculate_all_xy.
関数ML_calculate_all_Ejは交差エントロピーの微分の計算式に登場する\(E_j^{(m,n)}\)を全ての\(m\), \(n\), \(j\)について計算するものであり、関数ML_cross_entropy_derivativeの内部で用いられている。
The function ML_calculate_all_Ej calculates \(E_j^{(m,n)}\), which appears in the formulation for the derivatives of the cross entropy error, for all \(m\), \(n\), and \(j\) values; this function is used internally within the function ML_cross_entropy_derivative.
関数ML_calculate_EjM, ML_calculate_Ej_recursiveは特定の1つの\(m\), \(n\)について \(E_j^{(m,n)}\)を計算するものであり、関数ML_calculate_all_Ejの内部で用いられている。
The functions ML_calculate_EjM and ML_calculate_Ej_recursive compute \(E_j^{(m,n)}\) for single \(m\) and \(n\) values; these functions are used internally within the function ML_calculate_all_Ej.

以上の関係を素早く理解できるように図示すると以下のようになる。ここでは「関数名 [出力] (添字範囲)」の形式で示す。
For quick understanding, the following schematic figure may be useful. Here a format “function name [output] (index range)” is used.

ML_calculate_all_xy [\(x_i^{(m,n)}\), \(y_i^{(m,n)}\)] (all \(m\), \(n\), \(i\))
     ML_x2y [\(y_j^{(m,n)}\)] (given \(m\), \(n\); all \(j\))
     ML_y2x [\(x_j^{(m+1,n)}\)] (given \(m\), \(n\); all \(j\))

ML_cross_entropy [\(E\)]

ML_cross_entropy_derivative [\(\partial E / \partial W_{j,i}^{(m)}\)] (all \(m\), \(j\), \(i\))
     ML_calculate_all_Ej [\(E_j^{(m,n)}\)] (all \(m\), \(n\), \(j\))
         ML_calculate_EjM [\(E_j^{(M,n)}\)] (given \(n\); all \(j\))
         ML_calculate_Ej_recursive [\(E_j^{(m,n)}\)] (given \(m\)(<\(M\)), \(n\); all \(j\))

関数名 Function name	機能・用途 Purpose
ML_x2y 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	1つの層での変数\(X_i^{(m)}\)の値を与えてその線形結合\(Y_j^{(m)}\)の値を計算する。【特定の1つの\(m\)、全ての\(j\)】 Calculate the values of linear combinations \(Y_j^{(m)}\) given the values of variables \(X_i^{(m)}\) in a layer. [For a single \(m\) and for all \(j\)]
ML_x2y_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	1つの層での変数\(X_i^{(m)}\)の値を与えてその線形結合\(Y_j^{(m)}\)の値を計算する。 \(Y_j^{(m)}\)の動的メモリを前もって確保しておくバージョン。【特定の1つの\(m\)、全ての\(j\)】 Calculate the values of linear combinations \(Y_j^{(m)}\) given the values of variables \(X_i^{(m)}\) in a layer; a version assuming that the dynamic memory for \(Y_j^{(m)}\) is allocated in advance to the function call. [For a single \(m\) and for all \(j\)]
ML_y2x 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	1つの層での変数の線形結合\(Y_j^{(m)}\)の値を与えて次の層の変数\(X_j^{(m+1)}\)の値を計算する。【特定の1つの\(m\)、全ての\(j\)】 Calculate the values of variables \(X_j^{(m+1)}\) of a layer given the values of linear combinations, \(Y_j^{(m)}\), of the variables in the previous layer. [For a single \(m\) and for all \(j\)]
ML_y2x_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	1つの層での変数の線形結合\(Y_j^{(m)}\)の値を与えて次の層の変数\(X_j^{(m+1)}\)の値を計算する。 \(X_j^{(m+1)}\)の動的メモリを前もって確保しておくバージョン。【特定の1つの\(m\)、全ての\(j\)】 Calculate the values of variables \(X_j^{(m+1)}\) of a layer given the values of linear combinations, \(Y_j^{(m)}\), of the variables in the previous layer; a version assuming that the dynamic memory for \(X_j^{(m+1)}\) is allocated in advance to the function call. [For a single \(m\) and for all \(j\)]
ML_calculate_all_xy	教師データにおける入力層の変数\(x_i^{(0,n)}\)の値を与えて全ての層での変数\(x_i^{(m,n)}\)およびその線形結合\(y_i^{(m,n)}\) の値を計算する。【全ての\(m\), \(n\), \(i\)】 Calculate the values of variables \(x_i^{(m,n)}\) and their linear combinations \(y_i^{(m,n)}\) in all layers given the variables in the input layer \(x_i^{(0,n)}\) of the teaching data. [For all \(m\), \(n\), and \(i\)]
ML_calculate_all_xy_givenMemories	教師データにおける入力層の変数\(x_i^{(0,n)}\)の値を与えて全ての層での変数\(x_i^{(m,n)}\)およびその線形結合\(y_i^{(m,n)}\) の値を計算する。 \(x_i^{(m,n)}\), \(y_i^{(m,n)}\)の動的メモリを前もって確保しておくバージョン。【全ての\(m\), \(n\), \(i\)】 Calculate the values of variables \(x_i^{(m,n)}\) and their linear combinations \(y_i^{(m,n)}\) in all layers given the variables in the input layer \(x_i^{(0,n)}\) of the teaching data; a version assuming that the dynamic memories for \(x_i^{(m,n)}\) and \(y_i^{(m,n)}\) are allocated in advance to the function call. [For all \(m\), \(n\), and \(i\)]
ML_cross_entropy	交差エントロピー誤差を計算する。 Calculate a cross entropy error.
ML_calculate_EjM 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(M,n)}\)を計算する。【特定の1つの\(n\)、全ての\(j\)】 Calculate the values of \(E_j^{(M,n)}\) which appears in the formula of the derivative of the cross entropy error. [For a single \(n\) and for all \(j\)]
ML_calculate_EjM_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(M,n)}\)を計算する。 \(E_j^{(M,n)}\)の動的メモリを前もって確保しておくバージョン。【特定の1つの\(n\)、全ての\(j\)】 Calculate the values of \(E_j^{(M,n)}\) which appears in the formula of the derivative of the cross entropy error; a version assuming that the dynamic memories for \(E_j^{(M,n)}\) are allocated in advance to the function call. [For a single \(n\) and for all \(j\)]
ML_calculate_Ej_recursive 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(m,n)}\) \((m < M)\)を計算する。【特定の1つの\(m\), \(n\)、全ての\(j\)】 Calculate the values of \(E_j^{(m,n)}\) \((m < M)\) which appears in the formula of the derivative of the cross entropy error. [For single \(m\) and \(n\) values and for all \(j\)]
ML_calculate_Ej_recursive_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(m,n)}\) \((m < M)\)を計算する。 \(E_j^{(m,n)}\)の動的メモリを前もって確保しておくバージョン。【特定の1つの\(m\), \(n\)、全ての\(j\)】 Calculate the values of \(E_j^{(m,n)}\) \((m < M)\) which appears in the formula of the derivative of the cross entropy error; a version assuming that the dynamic memories for \(E_j^{(m,n)}\) are allocated in advance to the function call. [For single \(m\) and \(n\) values and for all \(j\)]
ML_calculate_all_Ej 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(m,n)}\)を計算する。【全ての\(m\), \(n\), \(j\)】 Calculate the values of \(E_j^{(m,n)}\) which appears in the formula of the derivative of the cross entropy error. [For all \(m\), \(n\), and \(j\)]
ML_calculate_all_Ej_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差の微分の計算に登場する\(E_j^{(m,n)}\)を計算する。 \(E_j^{(m,n)}\)の動的メモリを前もって確保しておくバージョン。【全ての\(m\), \(n\), \(j\)】 Calculate the values of \(E_j^{(m,n)}\) which appears in the formula of the derivative of the cross entropy error; a version assuming that the dynamic memories for \(E_j^{(m,n)}\) are allocated in advance to the function call. [For all \(m\), \(n\), and \(j\)]
ML_cross_entropy_derivative 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差のモデルパラメータによる微分 \(\partial E / \partial W_{j,i}^{(m)}\) を計算する。【全ての\(m\), \(j\), \(i\)】 Calculate the derivatives of the cross entropy error by model parameters (\(\partial E / \partial W_{j,i}^{(m)}\)). [For all \(m\), \(j\), and \(i\)]
ML_cross_entropy_derivative_givenMemories 【マニュアル改訂中につき非公開】 [Documentation is not open as it is under revision]	交差エントロピー誤差のモデルパラメータによる微分 \(\partial E / \partial W_{j,i}^{(m)}\) を計算する。 \(\partial E / \partial W_{j,i}^{(m)}\)および計算過程で用いられる\(E_j^{(m,n)}\)の動的メモリを前もって確保しておくバージョン。【全ての\(m\), \(j\), \(i\)】 Calculate the derivatives of the cross entropy error by model parameters (\(\partial E / \partial W_{j,i}^{(m)}\)); a version assuming that the dynamic memories for \(\partial E / \partial W_{j,i}^{(m)}\), and for \(E_j^{(m,n)}\) used in the calculation, are allocated in advance to the function call. [For all \(m\), \(j\), and \(i\)]