+Mecab http://mecab.sourceforge.net/ +Mecabオプション mecab -O wakati +参考サイト http://blog.myfinder.jp/2008/12/leopardmecab.html --/usr/local/lib/mecab/dic/ipadic/dicrc に次の行を追加する。 オプションをcrfにする。 ; CRF node-format-crf = %f[6]-%F-[0,1,2,3]\n --; 単語:品詞 変更前 node-format-wordspos = %m:%F-[0,1]\s unk-format-wordspos = %m:%F-[0,1]\s eos-format-wordspos = \n ---実行結果 大学にいる 大学:名詞-一般 に:助詞-格助詞 いる:動詞-自立 --; 単語:品詞 &color(red){変更後}; node-format-wordspos = %m:%f[0]\s unk-format-wordspos = %m:%f[0]\s eos-format-wordspos = \n **利用方法 [#t3bbc5a5] --mecab -O wordspos ---単語分割と品詞を表示 http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabExe.cgi 大学にいる 大学:名詞 に:助詞 いる:動詞 ---単語出現頻度を求める http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrq.cgi ---単語出現頻度を求める(名詞限定) http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrqNoun.cgi --mecab -O crf # mecab -Ocrf 入力のテストです。 入力-名詞-サ変接続 の-助詞-連体化 テスト-名詞-サ変接続 です-助動詞 。-記号-句点 ***Mecabを利用してみる [#c3c2ce89] --入力文の例 [[青空文庫 夏目漱石 吾輩は猫である >http://www.aozora.gr.jp/cards/000148/files/789_14547.html]] ---[[吾輩は猫である]] --[[単語分割と品詞を表示>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabExe.cgi]] --[[単語出現頻度を求める>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrq.cgi]] --[[単語出現頻度を求める(名詞限定)>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrqNoun.cgi]] --単語出現頻度に文字長を掛け合わせる http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrqNounLength.cgi --[[共起頻度を求める>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecab2gram.cgi]] --TF --IDF --TFIDF