SCOPEとweka †
- wekaダウンロード http://www.cs.waikato.ac.nz/~ml/weka/
- linux で weka 起動まで
wget http://prdownloads.sourceforge.net/weka/weka-3-6-1.zip unzip weka-3-6-1.zip cd weka-3-6-1 java -jar weka.jar
- その後
- Explorer を選択
- Open fileでファイル読み込み
- J48を選択
- linux で weka 起動まで
- weka サンプル
- サンプル作成 参考サイト
- SCOPE関連 政治的カテゴリに対する各議員の発言数を入力データとして決定木をつくる場合
@relation member @attribute 財務(1010) Real @attribute 病院事業(1101) Real @attribute 教育(1120) Real @attribute 学校(1121) Real ・・・ @attribute Member {memberA,memberB,memberC,・・・} @data 0.113389626,0.031363088,・・・,0,memberA 0.151930262,0.078455791,・・・,0,memberB - 元のExcelデータ
- メモ Excelで転置
コピーし、「形式を選択してペースト」で、行を列の入れ替えを選択
- メモ Excelで転置
J48 決定木の作成 †
- J48とは 参考サイト
- Quinlan の C4.5 に基づいた決定木を生成する
- デフォルトで実行すると、"J48 -C 0.25 -M 2" となっている。
- オプションCについて
Confidence Factor 剪定のための信頼要因。値が小さいほどより多く剪定される
- オプションMについて
miniNumObj 葉における最少の個体数
- オプションCについて
- オプションの説明 http://wiki.livedoor.jp/ryu_toshinori/d/classifiers.trees.J48
- binarySplits -- 名義属性の分割に二分分割を使うか（木を構築するときに）．
- confidenceFactor -- 信頼度は枝刈りに対して利用しました．(より小さい値はより多く枝刈りを行います)
- debug -- trueに設定されると，分類学習アルゴリズムは追加インフォメーションをコンソールに出力します．
- minNumObj? -- 葉あたりの最小事例数
- numFolds -- 誤り低減枝刈りのために利用するデータの量を決定してください． 1つの折り目部分集合は枝刈りのために利用され，残りは決定木の生成に利用します．
- reducedErrorPruning? -- 誤り低減枝刈りをＣ４．５方式の枝刈りの変わりに使用するかどうか．
- saveInstanceData? -- 訓練データを可視化のために保存するかどうか．
- seed -- データをランダム化するのに種が利用されます．誤り低減枝刈りを利用するときに．
- subtreeRaising -- 部分木の出現操作を枝刈りの際に考慮するかどうか．
- unpruned -- 枝刈りを実行するかどうか．
- useLaplace -- ラプラスに基づいて葉での数え上げが平滑化されるかどうかです．
- SCOPEのデータ作成方法
- 各議員の発言数が異なるため正規化する
- 各議員の発言総数で各議員のカテゴリ発言数を割る
- 例
議員Aの発言総数 1000回 議員Aの財務に関連する発言200回 の場合 議員Aの財務の値は 0.2 となる
- 議員名を載せていないバージョン、arff形式のファイル
MemberH19.txt- "J48 -C 0.25 -M 2" 結果
- 議員名を載せているバージョン、arff形式のファイル
- MemberH19-Otaru.txt
- "J48 -C 0.25 -M 2" 結果
- "J48 -C 0.25 -M 1" 結果
バッファの保存
- 各議員の発言数が異なるため正規化する
コマンドラインからの操作について †
- コマンドラインからサンプル http://furukawa.sfc.keio.ac.jp/course/DM01/man-w.html
- コマンドラインからどのように操作するのか？
- java weka.classifiers.j48.J48
-t : 訓練事例ファイルを指定する。 -T : テスト事例ファイルを指定する。 もしこれを指定しない場合、訓練事例に対して交差検定を行う。 -c : クラス属性を指定する。クラスとして指定したい属性を番号で指定する。その属性が入力ファイル中で１番最初に宣言された属性であれば１、２番目であれば２と指定する。 -x : 交差検定の fold 数を指定する。 -v : 木に対する評価(Error on training data)を表示しない。 -o : 決定木を表示しない。 -d : 生成した木を保存する。他のテスト事例に対して、同じ木を作り直す必要がなくなる。 -l : 保存した木を呼び出す。 -C : pruning confidence (枝刈りの強さを表す数値。値が小さいほど、大きい枝刈りが行われる。 デフォルト値は 25% )の値を指定する。 -M : 葉に最低限含まれなければならないデータ数を指定する。
- java weka.classifiers.j48.J48 -t weather.arff -d tree.out
- (weather.arff を訓練事例として生成した決定木を、tree.out という名前で保存する)
評価用語 †
- Correctly Classified Instances
- 正しく分類された数とその割合
- 0 0 %
- Incorrectly Classified Instances
- 誤って分類された数とその割合
- 17 100 %
- Kappa statistic
- K統計量。判定者内一致度
- -0.0625
- K&B Relative Info Score
- -19.0059 %
- K&B Information Score
- -0.7744 bits -0.0456 bits/instance
- Class complexity | order 0
- 85.1332 bits 5.0078 bits/instance
- Class complexity | scheme
- 18258 bits 1074 bits/instance
- Complexity improvement (Sf)
- -18172.8668 bits -1068.9922 bits/instance
- Mean absolute error
- 平均絶対誤差。予測精度。低いほど良い
- 0.1176
- Root mean squared error
- 二乗平均平方根。変化量を統計的に評価する手法。予測精度。低いほど良い
- 0.2691
- Relative absolute error
- 103.208 %
- Root relative squared error
- 111.0656 %
- Total Number of Instances
- 決定木を作るのに寄与したインスタンスの数
- 17
参考サイト †
