Saki Wiki

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。

=====アルゴリズム=====
====決定木(Decision Tree)====
Gradient Boosting Decision Tree (GBDT)
決定木の一種。決定木を作ったあと、勾配降下法(Gradient Descent)で学習した新しい木を作る。これを繰り返して、できた複数の木を総合してpredictionを行う。(Boosting)

====ニューラルネットワーク====
多層パーセプトロン=ニューラルネットワーク？

重みの初期値
0を中心とするGaussianで乱数を振って決めている。幅は隠れ層のノード数に応じたものにするのが普通($1/\sqrt{N}$など)？普通はシードを固定して再現性を保証する。

=====損失関数=====
====Cross Entropy====
分類問題に用いられる損失関数。クラスを表すラベルについて$p$を真の値、$q$を予測値とすると
$$
\mathrm{Loss} = \sum_i p_i\log q_i
$$
をクロスエントロピーと呼ぶ。二値分類(binary classification)の場合、binary cross entropy
\begin{eqnarray}
\mathrm{Loss} = p\log q + (1-p)\log(1-q)
\end{eqnarray}
となる。

ロジスティック回帰->予測値が確率と解釈される。

Saki Wiki

ユーザ用ツール

サイト用ツール

ページ用ツール