Gradient Boosting Decision Tree (GBDT) 決定木の一種。決定木を作ったあと、勾配降下法(Gradient Descent)で学習した新しい木を作る。これを繰り返して、できた複数の木を総合してpredictionを行う。(Boosting)

多層パーセプトロン=ニューラルネットワーク？

重みの初期値 0を中心とするGaussianで乱数を振って決めている。幅は隠れ層のノード数に応じたものにするのが普通($1/\sqrt{N}$など)？普通はシードを固定して再現性を保証する。

$$ \mathrm{Loss} = \sum_i p_i\log q_i $$ をクロスエントロピーと呼ぶ。二値分類(binary classification)の場合、binary cross entropy \begin{eqnarray} \mathrm{Loss} = p\log q + (1-p)\log(1-q) \end{eqnarray} となる。