Gradient Boosting Decision Tree (GBDT) 決定木の一種。決定木を作ったあと、勾配降下法(Gradient Descent)で学習した新しい木を作る。これを繰り返して、できた複数の木を総合してpredictionを行う。(Boosting)

多層パーセプトロン=ニューラルネットワーク？

重みの初期値 0を中心とするGaussianで乱数を振って決めている。幅は隠れ層のノード数に応じたものにするのが普通($1/\sqrt{N}$など)？普通はシードを固定して再現性を保証する。

分類問題に用いられる損失関数。クラスを表すラベルについて$p$を真の値、$q$を予測値とすると $$ \mathrm{Loss} = \sum_i p_i\log q_i $$ をクロスエントロピーと呼ぶ。二値分類(binary classification)の場合、binary cross entropy \begin{eqnarray} \mathrm{Loss} = p\log q + (1-p)\log(1-q) \end{eqnarray} となる。

ロジスティック回帰→予測値が確率と解釈される。