要旨

本エントリー(WIP)はカーブフィッティング全般に関して記述したものであり, それぞれの原理, 性質について学んだ際のメモとして, より単純なものから広く浅く挙げています. 極力ないようにはしていますが, 本内容は独学で得た知見より書いておりますので, 一部正確さが欠けている可能性があることは否めません. 何かありましたら, コメント等で指摘していただけるとありがたいです. また, 本エントリ内における近似およびプロット等に関する実装は次のリポジトリ

にまとまっています.

目次

1. 要旨
2. 線形回帰
   1. 線形最小二乗法
3. 一般逆行列
   1. 最小二乗形一般逆行列
   2. 最小ノルム形一般逆行列
   3. 制限つき最小二乗法
   4. オーバーフィッティングと正則化およびその評価
   5. 誤差分布が正規分布でない場合の線形回帰
   6. 最小刈込み二乗法
   7. 参考文献

LU 分解に関して初歩的な内容から網羅的にまとめた.

目次

1. ガウスの消去法
2. ガウス・ジョルダン法
3. ピボッティング
4. LU 分解
5. 参考文献

久しぶりにまた¹なにか d3.js で視覚化してみたくなったのだが, このエントリがポストされる次の日はアイザック・ニュートンの誕生日らしいので, 今回はニュートン法 (Newton Raphson 法) を視覚化してみることにした. 早速であるが以下がその成果物である². $f(x)=0$ となる関数 $f(x)$ とその導関数 $f'(x)$ 及びニュートン法の初期値を受け付け, 実行をクリックすると関数とニュートン法の計算過程における接線がプロットされる. デフォルトでは, $\sqrt{2}$ の値を計算するように設定してある. 入力された関数を元に数値微分をしても良かったのだが, なんとなく導関数を入力したかったので, そのようなことはしなかった.

当ブログ内では, 既に確率論の話題としてベイズの定理のエントリが存在するが, 今後同様にして確率論の話題を本ブログで取り上げる際に, 用語へのリファレンスを self-contained で張れるよう, 本エントリにて一度整理しておくこととした.

目次

1. 確率の定義
   1. 古典的確率
   2. 統計的確率
   3. 公理的確率
   4. 基本的な言葉
2. 不偏分散
3. 正規分布, ガウス分布
4. 大数の法則
5. 中心極限定理
6. 参考文献

以前のエントリ, ガウス積分の公式とその証明で, 暗に極座標での微小面積が $rdrd\theta$ であるとして書いていたので, その内容についても一応書いておこうというのと, 筆者自身の学習/再整理も兼ねて, ヤコビアンに関して書くこととした.

目次

1. 極座標の微小面積
2. $\epsilon-\delta$ 論法
3. より一般的な変数変換
   1. 異なる座標系への移行とは何か
   2. 幾何学的なアプローチ
   3. 全微分
   4. 全積分とヤコビアン
4. 参考文献