R2MeCab のバックアップ(No.13)
- バックアップ一覧
- 差分 を表示
- 現在との差分 を表示
- ソース を表示
- R2MeCab へ行く。
- 1 (2009-03-06 (金) 16:15:54)
- 2 (2009-03-07 (土) 11:00:38)
- 3 (2009-03-07 (土) 11:26:35)
- 4 (2009-03-07 (土) 18:06:27)
- 5 (2009-03-10 (火) 08:48:44)
- 6 (2009-03-10 (火) 10:01:13)
- 7 (2009-03-10 (火) 12:38:30)
- 8 (2009-03-11 (水) 09:21:53)
- 9 (2009-03-14 (土) 08:42:13)
- 10 (2009-03-27 (金) 17:33:09)
- 11 (2009-03-29 (日) 16:43:54)
- 12 (2009-04-18 (土) 14:00:17)
- 13 (2009-04-20 (月) 10:47:03)
- 14 (2009-05-04 (月) 18:33:19)
- 15 (2009-05-06 (水) 09:39:05)
- 16 (2009-08-24 (月) 16:02:36)
- 17 (2009-08-25 (火) 11:00:29)
- 18 (2009-08-25 (火) 11:08:24)
- 19 (2009-10-28 (水) 15:18:40)
- 20 (2009-12-17 (木) 18:48:41)
- 21 (2009-12-18 (金) 10:06:25)
- 22 (2010-04-29 (木) 16:50:09)
- 23 (2010-06-14 (月) 07:57:58)
RMeCabの簡易版
テキストマイニングのためのツール: データ解析・グラフィックス環境 R から日本語形態素解析ソフト和布蕪(MeCab)を呼び出して使うインターフェイス
_ 開発状況
- 2009年 4月18日 R2MeCab_0.08: R-2.9.0への対応
- 2009年 3月29日 R2MeCab_0.07: docDF()関数の効率が悪かった（解析に異常に時間がかかった）の修正．
- 2009年 3月27日 R2MeCab_0.06: NgramDF2()関数にバグがあったのを修正．またフリーズと誤解されないよう解析中に * を出力するようにした．
- 2009年 3月23日 docDF()関数に共起行列を作成する co 引数を追加
- 2009年 3月10日 R2MeCab_0.04:デフォルトの出力を全タームに変更
- 2009年 3月9日 R2MeCab_0.03:微調整
- 2009年 3月6日 R2MeCab_0.02:微調整
- 2009年 3月6日 R2MeCab_0.01: 汎用的な docDF()関数の他に RMeCabC(), RMeCabText?()を実装
_ 機能
- docDF()関数
第 1 引数で指定されたファイル (フォルダが指定された場合は，その中の全ファイル)，あるいは第1引数でデータフレームを，また第 2 引数で列（番号あるいは名前）を指定して，Ngram行列，あるいはターム・文書行列を作成する．指定可能な引数は
- target : 引数はファイル名ないしフォルダ名,あるいはデータフレーム
- column : はデータフレームを指定する場合，列（番号あるいは名前）を指定する
- type : 0 は文字のGramを １はタームのGramを作成．デフォルトは0
- pos : 引数は pos = c("名詞", "形容詞","記号") のように指定する．指定されない場合は記号を含め，すべてを抽出．
- minFreq : 全文書を通じての総頻度の閾値を指定する．デフォルトのminFreq = １では，どれか一つの文書に一度だけ出現したタームも，出力含めます．対象文書の分量が多い場合は 3 などを指定することを検討ください．
- N: は Ngram の場合の N の数.デフォルトは１
- Genkei:活用語を原型 (0) にするか，表層形(1) にするか．デフォルトは 0．
- weight = "tf*idf*norm" などの重みを指定可能．デフォルトは重み無し．
- nDF : N個のタームそれぞれを独立した列に取る．デフォルトは 0：nDF = 1 とすると，タームごとに列を取ります．
- co 共起行列の作成
Ngram
> setwd("C:/data")
> (res <- docDF("doc")) # docフォルダの全ファイルを対象に
file = doc1.txt
file = doc2.txt
file = doc3.txt
file_name = doc/doc1.txt opened
file_name = doc/doc2.txt opened
file_name = doc/doc3.txt opened
number of extracted terms = 15
now making a data frame. wait a while!
Ngram doc1.txt doc2.txt doc3.txt
1 。 1 1 1
2 い 0 0 1
3 す 1 1 1
4 で 1 1 1
5 の 0 1 0
6 は 1 1 1
7 ま 0 0 1
8 を 0 0 1
9 ん 0 0 1
10 女 0 1 1
11 学 1 2 2
12 彼 0 1 1
13 数 0 1 1
14 生 1 1 0
15 私 1 0 0
ターム・文章行列
> (res <- docDF("doc", type = 1, N=1))
file = doc1.txt
file = doc2.txt
file = doc3.txt
file_name = doc/doc1.txt opened
file_name = doc/doc2.txt opened
file_name = doc/doc3.txt opened
number of extracted terms = 13
now making a data frame. wait a while!
TERM POS1 POS2 doc1.txt doc2.txt doc3.txt
1 。 記号 句点 1 1 1
2 いる 動詞 非自立 0 0 1
3 で 助詞 接続助詞 0 0 1
4 です 助動詞 * 1 1 0
5 の 助詞 連体化 0 1 0
6 は 助詞 係助詞 1 1 1
7 ます 助動詞 * 0 0 1
8 を 助詞 格助詞 0 0 1
9 学ぶ 動詞 自立 0 0 1
10 学生 名詞 一般 1 1 0
11 彼女 名詞 代名詞 0 1 1
12 数学 名詞 一般 0 1 1
13 私 名詞 代名詞 1 0 0
名詞と形容詞を対象にTri-gramで行列
> (res <- docDF("doc", pos = c("名詞","形容詞"), type = 1, N=3))
number of extracted terms = 1
TERM POS1 POS2
1 彼女-数学-学生 名詞-名詞-名詞 代名詞-一般-一般
doc1.txt doc2.txt doc3.txt
0 1 0
データフレームを解析する
> (target <- read.csv("photo.csv"))
ID Sex Reply
1 1 M 写真とってくれよ
2 2 F 写真とってください
3 3 M 写真とってね
4 4 F 写真とってください
5 5 M 写真とってっす
# データフレームの3列目からBi-gram行列
> (res <- docDF(target, col = 3, N = 2))
# col はデータフレーム列あるいは名前
number of extracted terms = 13
Ngram Row1 Row2 Row3 Row4 Row5
1 く-だ 0 1 0 1 0
2 く-れ 1 0 0 0 0
3 さ-い 0 1 0 1 0
4 だ-さ 0 1 0 1 0
5 っ-す 0 0 0 0 1
6 っ-て 1 1 1 1 1
7 て-く 1 1 0 1 0
8 て-っ 0 0 0 0 1
9 て-ね 0 0 1 0 0
10 と-っ 1 1 1 1 1
11 れ-よ 1 0 0 0 0
12 写-真 1 1 1 1 1
13 真-と 1 1 1 1 1
タームのバイグラム
> (res <- docDF(target, col = 3, type = 1, N = 2))
number of extracted terms = 7
now making a data frame. wait a while!
TERM POS1 POS2 Row1 Row2 Row3 Row4 Row5
1 くれる-よ 動詞-助詞 非自立-終助詞 1 0 0 0 0
2 て-くださる 助詞-動詞 接続助詞-非自立 0 1 0 1 0
3 て-くれる 助詞-動詞 接続助詞-非自立 1 0 0 0 0
4 て-っす 助詞-助動詞 接続助詞-* 0 0 0 0 1
5 て-ね 助詞-助詞 接続助詞-終助詞 0 0 1 0 0
6 とる-て 動詞-助詞 自立-接続助詞 1 1 1 1 1
7 写真-とる 名詞-動詞 一般-自立 1 1 1 1 1
タームのバイグラムを表層形で
> (res <- docDF(target, col = 3, type = 1, N = 2, Genkei = 1))
number of extracted terms = 7
now making a data frame. wait a while!
TERM POS1 POS2 Row1 Row2 Row3 Row4 Row5
1 くれ-よ 動詞-助詞 非自立-終助詞 1 0 0 0 0
2 て-ください 助詞-動詞 接続助詞-非自立 0 1 0 1 0
3 て-くれ 助詞-動詞 接続助詞-非自立 1 0 0 0 0
4 て-っす 助詞-助動詞 接続助詞-* 0 0 0 0 1
5 て-ね 助詞-助詞 接続助詞-終助詞 0 0 1 0 0
6 とっ-て 動詞-助詞 自立-接続助詞 1 1 1 1 1
7 写真-とっ 名詞-動詞 一般-自立 1 1 1 1 1
各タームを独立に列を取って
> (res <- docDF("doc", type=1, N=2,pos = c("名詞","動詞"),
Genkei = 1, nDF = 1))
...
number of extracted terms = 5
now making a data frame. wait a while!
N1 N2 POS1 POS2 doc1.txt doc2.txt doc3.txt
1 学ん い 動詞-動詞 自立-非自立 0 0 1
2 彼女 数学 名詞-名詞 代名詞-一般 0 1 1
3 数学 学ん 名詞-動詞 一般-自立 0 0 1
4 数学 学生 名詞-名詞 一般-一般 0 1 0
5 私 学生 名詞-名詞 代名詞-一般 1 0 0
共起行列
> (res <- docDF("data/doc", type = 1, co = 1))
file_name = data/doc/doc1.txt opened
file_name = data/doc/doc2.txt opened
file_name = data/doc/doc3.txt opened
number of extracted terms = 13
now making a data frame. wait a while!
TERM POS1 POS2 。 いる で です の は ます を 学ぶ 学生 彼女 数学 私
1 。 記号 句点 3 1 1 2 1 3 1 1 1 2 2 2 1
2 いる 動詞 非自立 1 1 1 0 0 1 1 1 1 0 1 1 0
3 で 助詞 接続助詞 1 1 1 0 0 1 1 1 1 0 1 1 0
4 です 助動詞 * 2 0 0 2 1 2 0 0 0 2 1 1 1
5 の 助詞 連体化 1 0 0 1 1 1 0 0 0 1 1 1 0
6 は 助詞 係助詞 3 1 1 2 1 3 1 1 1 2 2 2 1
7 ます 助動詞 * 1 1 1 0 0 1 1 1 1 0 1 1 0
8 を 助詞 格助詞 1 1 1 0 0 1 1 1 1 0 1 1 0
9 学ぶ 動詞 自立 1 1 1 0 0 1 1 1 1 0 1 1 0
10 学生 名詞 一般 2 0 0 2 1 2 0 0 0 2 1 1 1
11 彼女 名詞 代名詞 2 1 1 1 1 2 1 1 1 1 2 2 0
12 数学 名詞 一般 2 1 1 1 1 2 1 1 1 1 2 2 0
13 私 名詞 代名詞 1 0 0 1 0 1 0 0 0 1 0 0 1
長文テキスト集合
> res <- docDF("writers", type = 1, N=1)
## 鴎外と漱石あわせて ８ テキスト．解析に数分かかります
> head(res)
TERM POS1 POS2 ogai_gan.txt ...
1 ' 名詞 サ変接続 0 ...
2 , 名詞 サ変接続 0 ...
3 あい 名詞 一般 0 ...
4 あか 名詞 一般 0 ...
5 あかるい 形容詞 自立 0 ...
6 あざやか 名詞 一般 0 ...
...
- RMeCabC()関数 : 短文の処理
> library(RMeCab) > kekka <- RMeCabC("すもももももももものうち") > unlist(kekka)# 第二引数 1 を加えると形態素原型を返します．
> kekka <- RMeCabC("ご飯を食べた", 1) > unlist(kekka) # 名詞 助詞 動詞 助動詞 # "ご飯" "を" "食べる" "た" # 第二引数なしだと > kekka <- RMeCabC("ご飯を食べた") > unlist(kekka) # 名詞 助詞 動詞 助動詞 # "ご飯" "を" "食べ" "た" # 名詞だけ取り出したければ unlist(kekka) [names(unlist(kekka)) == "名詞"] # ご飯 # R-2.8.0 をMacOSXやLinuxでご利用の場合は # 以下の3行を実行しないと動作しないかもしれません kekka <- unlist(kekka) Encoding(kekka) <- "UTF-8" Encoding(names(kekka)) <- "UTF-8"
- RMeCabText?()関数 : ファイルの解析結果をそのまま表示
# その他，和布蕪の出力をそのままリスト形式で出力する関数
> RMeCabText("data/sakura.txt") # こんな結果 #[[1]] # [1] "昨日" "名詞" "副詞可能" "*" "*" "*" # [7] "*" "昨日" "キノウ" "キノー" # #[[2]] # [1] "も" "助詞" "係助詞" "*" "*" "*" "*" "も" # [9] "モ" "モ"
_ インストール手順
MeCabをインストールします．Macintosh および Linux の場合はここを参考にしてください．
- Windows の方は，まずMeCabをインストールしてください．ここ から win32バイナリmecab-0.97.exe をダウンロードしてインストールします．インストール先は標準設定のまま C:\Program Files\MeCab とします．また文字コードは Shit-Jis のままとします．
- MeCab?インストール後
Windowsの環境設定で MeCab? へのパスを通します．
すなわちコントロール・パネルの［システム］アイテムを起動し、
表示される［システムのプロパティ］ダイアログの［詳細設定］タブ
（Windows 2000では［詳細］タブ）
をクリックし、[システム環境変数] の PATH の最後に
;C:\Program Files\MeCab\bin\
を追記します．先頭のセミコロンを忘れないようにしてください．
- 次に R2MeCab_***.zip をRにインストールします．*** の部分はバージョン番号です．Rのメニューから[パッケージ]→[ローカルにあるzipファイルからのパッケージのインストール]を選んで，ダウンロードした R2MeCab_***.zipファイルを選んでインストールします．[win-libraryを作成したいのですか] と聞いてきた時は OK を押してください（この際，R はユーザーフォルダを作成します）．
_ ダウンロード
- Windows
R2MeCab_0.08.zip for R-2.9.0 ： Windows R2MeCab_0.07.zip for R-2.8.1
- 試用データ data.zip
- 試用データ
- Macintosh R2MeCab_0.08.tgz for R-2.9.0 ： R2MeCab_0.07.tgz for R-2.8.1
- Linux R2MeCab_0.07.tar.gz for R-2.9.0 ：R2MeCab_0.07.tar.gz for R-2.8.1
- 試用データ data.tar.gz
- 試用データ
_ お問い合わせ
ishida-m(at_mark)ias.tokushima-u.ac.jp にお願いします．
