順序統計量 分布$F$に従う独立同分布な確率変数$X_1, X_2, \cdots, X_n$があるとする。 これらを値の小さいものから順に並べ、$i$番目のものを$X_{(i)}$と書くことにする。すなわち、 \begin{align} X_{(1)} \leq X_{(2)} \leq \cdots \leq X_{(n)} \end{ali…

ロジスティック回帰による２値分類について 与えられたデータを2つのクラスに分類するアルゴリズムとして、以前パーセプトロンアルゴリズムやADALINEの記事を書きました。 rikiya-umehara.hatenablog.com rikiya-umehara.hatenablog.com 今回は、同じように2…

定理1.1.13の証明の以下の記述について補足してみます〜 また, 任意の$ A \in \mathcal{A}$は区間の有限直和で表されるので、がいえる. まず、は$ \mathcal{I}$を含む -加法族でした （ここでは最小性については興味ないので特に考えません）。 すると、$ \m…

ADALINE とは ADAptive LInear NEuron の略。以前、パーセプトロンについての簡単な記事を書きましたが、ADALINEはこちらを改良した分類アルゴリズムになります。 rikiya-umehara.hatenablog.com ADALINEの学習アルゴリズム 基本的な考え方はパーセプトロン…

分類タスクの初歩的なアルゴリズムであるパーセプトロンアルゴリズムについて簡単にまとめてみようと思います。 パーセプトロン超概要 ラベル$ t = \pm 1$を持つデータを分類する（超）平面を見つける機械学習アルゴリズムの一つです。 例えば2次元のデータ…

「相関係数の絶対値は1以下！」って記事を見ると、大抵標本についての相関係数にシュワルツの不等式を適用して「で〜きま〜した〜」と宣っていて、僕はなんとも言えない気持ちになりました。 期待値で定義している場合の相関係数についても同じことが言える…

数ベクトル空間$ \mathbb{R} ^{n}$でのシュワルツの不等式の証明はよく見かけますが、それと比べると例えば積分に関するシュワルツの不等式はあまり見かけない気がします。 どちらも計量ベクトル空間における内積の一般的な性質から証明できるものなので、ま…