プログラム:機械学習

差分

このページの2つのバージョン間の差分を表示します。

この比較画面にリンクする

--- プログラム:機械学習 [2024/03/08 01:05]
kawaue 作成
+++ プログラム:機械学習 [2024/08/15 07:07] (現在)
kawaue
@@ 行 1: / 行 1: @@
+=====アルゴリズム=====
+====決定木(Decision Tree)====
+Gradient Boosting Decision Tree (GBDT)
+決定木の一種。決定木を作ったあと、勾配降下法(Gradient Descent)で学習した新しい木を作る。これを繰り返して、できた複数の木を総合してpredictionを行う。(Boosting)
 ====ニューラルネットワーク====
+多層パーセプトロン=ニューラルネットワーク？
 重みの初期値
 を中心とするGaussianで乱数を振って決めている。幅は隠れ層のノード数に応じたものにするのが普通($1/\sqrt{N}$など)？普通はシードを固定して再現性を保証する。
+=====損失関数=====
+====Cross Entropy====
+分類問題に用いられる損失関数。クラスを表すラベルについて$p$を真の値、$q$を予測値とすると
+$$
+\mathrm{Loss} = \sum_i p_i\log q_i
+$$
+をクロスエントロピーと呼ぶ。二値分類(binary classification)の場合、binary cross entropy
+\begin{eqnarray}
+\mathrm{Loss} = p\log q + (1-p)\log(1-q)
+\end{eqnarray}
+となる。
+ロジスティック回帰->予測値が確率と解釈される。

プログラム/機械学習.1709859952.txt.gz · 最終更新: 2024/03/08 01:05 by kawaue