3.3. 2クラス分類と3クラス以上の分類の統一的な扱い

(Formula used in machine_learning header file package; 3. Constraints on model parameters \(W_{j,i}^{(m)}\); 3.3. A unified treatment for 2-class and more than 3-class groupings)

前節までで以下の式が得られた。
The formula below were obtained in the previous sections.

3.1節の(7)式
Eq. (7) of section 3.1:
\[\begin{equation} W_{1,i}^{(M)}=-W_{0,i}^{(M)} \hspace{2em} \left(i=0,\cdots,J^{(M)}\right) \label{eq.2classes.W.constraint} \end{equation}\]
3.2節の(12)式
Eq. (12) of section 3.2:
\[\begin{equation} \sum_{j=0}^{J^{(M+1)}-1}W_{j,i}^{(M)}=0 \hspace{2em} (i=0,\cdots,J^{(M)}) \label{eq.3classes.W.constraint} \end{equation}\]

3クラス以上の分類について得られた(\ref{eq.3classes.W.constraint})式を \[\begin{equation} W_{J^{(M+1)}-1,i}^{(M)}=-\sum_{j=0}^{J^{(M+1)}-2}W_{j,i}^{(M)} \hspace{2em} (i=0,\cdots,J^{(M)}) \label{eq.W.constraint} \end{equation}\] と書き換えれば2クラス分類の場合の条件(\ref{eq.2classes.W.constraint})を一般化した形になっていることが分かる。すなわち、2クラス分類の場合、3クラス以上の分類の場合のいずれにおいても (\ref{eq.W.constraint})を条件として計算を行えば良い。その方法も至って簡単で、単に\(W_{J^{(M+1)}-1,i}^{(M)}\)を未知パラメータとして推定するのをやめて代わりに(\ref{eq.W.constraint})式で計算すれば良い。このようにすればジグモイド関数とソフトマックス関数の違いを除いて 2クラス分類と3クラス以上の分類を全く同じように扱うことができる。
Eq. (\ref{eq.3classes.W.constraint}) obtained for more than 3-class grouping problem can be rewritten as (\ref{eq.W.constraint}), which is consistent with Eq. (\ref{eq.2classes.W.constraint}) obtained for the 2-class grouping problem. Therefore both 2-class and more than 3-class grouping problems can be solved using Eq. (\ref{eq.W.constraint}) as the constraint. This approach is very simply implemented; it is needed to simply avoid estimating \(W_{J^{(M+1)}-1,i}^{(M)}\) as unknown parameters and instead calculating them by Eq. (\ref{eq.W.constraint}). In this way, the 2-class and more than 3-class grouping problems can be treated in the same manner except for the difference of sigmoid and softmax functions.