SoftArchive のバックアップ(No.26) - RとLinuxと...

RとLinuxと...


SoftArchive のバックアップ(No.26)


software

_ 試用データセット(2008年6月13日修正)

filetestSetWin.zip(Windowsの方、Shift-Jis) : filetestSetUnix.tar.gz (MacおよびUnixユーザーの方, utf-8 ファイル): 解凍後,中に含まれる data フォルダごとドライブの先頭などにコピーして,その中のRMeCab?.R ファイル内のコードを実行します.詳しくはフォルダ内の README.txt を読んでください.

_ RMeCaBパッケージ

_ バージョン 0.52 (R-2.7.0) 2008年 6月14日

_ バージョン 0.51 2008年 6月13日

_ バージョン 0.50 2008年 5月12日

_ バージョン 0.49 β 2008年 5月5日

  • Windows バイナリ(R-2.7.0),バージョン 0.49&ref(): File not found: "RMeCab_0.49.zip" at page "SoftArchive"; と付属の環境設定ファイル fileRMeCabInstall.bat
  • Macintosh バイナリ(R-2.7.0),バージョン 0.49 &ref(): File not found: "RMeCab_0.49.tgz" at page "SoftArchive";
  • Linux バイナリ(R-2.7.0),バージョン 0.49 &ref(): File not found: "RMeCab_0.49.tar.gz" at page "SoftArchive";
    • バージョン 0.48 を R-2.7.0 でコンパイルした.

_ バージョン 0.48 β 2008年 5月5日

  • Windows バイナリ(R-2.6.2),バージョン 0.48&ref(): File not found: "RMeCab_0.48.zip" at page "SoftArchive"; と付属の環境設定ファイル fileRMeCabInstall.bat
  • Macintosh バイナリ(R-2.6.2),バージョン 0.48 &ref(): File not found: "RMeCab_0.48.tgz" at page "SoftArchive";
  • Linux バイナリ(R-2.6.2),バージョン 0.48 &ref(): File not found: "RMeCab_0.48.tar.gz" at page "SoftArchive";
    • ターム・文書行列作成の際の重みを見直した.局所的重みに「文書頻度 TF」,「対数頻度」,「バイナリ頻度」の 3 種類を,大域的重みに「IDF」,「大域的IDF」,「確率的IDF」,「エントロピー」の 4 種類,そしてコサイン正規化関数一つを実装し直した.

_ バージョン 0.47 β 2008年4月28日

  • Windows バイナリ,バージョン 0.47&ref(): File not found: "RMeCab_0.47.zip" at page "SoftArchive"; と付属の環境設定ファイル fileRMeCabInstall.bat
  • Macintosh バイナリ,バージョン 0.47 &ref(): File not found: "RMeCab_0.47.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.47 &ref(): File not found: "RMeCab_0.47.tar.gz" at page "SoftArchive";
    • docNgram(), makeNgram(), rmSing() 関数を追加.Ngramを作成する場合にディレクトリを指定可能とした.ディレクトリ内のファイルすべてについて Ngram を計り,行にテキスト名,列にNgram名を備えたデータフレームを返す.またMeCab? の出力から品詞情報が「記号」の要素を除く

_ バージョン 0.46

  • Windows バイナリ,バージョン 0.46&ref(): File not found: "RMeCab_0.46.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.46 &ref(): File not found: "RMeCab_0.46.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.46 &ref(): File not found: "RMeCab_0.46.tar.gz" at page "SoftArchive";
    • collocate 関数の出力から T-score, MI-score,対数尤度比(G^2)を求める関数 collScores()関数を追加.

_ バージョン 0.45

  • Windows バイナリ,バージョン 0.45 &ref(): File not found: "RMeCab_0.45.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.45 &ref(): File not found: "RMeCab_0.45.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.45 &ref(): File not found: "RMeCab_0.45.tar.gz" at page "SoftArchive";
    • collocate 関数の出力を修正。

_ バージョン 0.44

  • Windows バイナリ,バージョン 0.44 &ref(): File not found: "RMeCab_0.44.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.44 &ref(): File not found: "RMeCab_0.44.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.44 &ref(): File not found: "RMeCab_0.44.tar.gz" at page "SoftArchive";
    • collocate 関数の出力に総トークン数と,総形態素数に関する情報を追加

_ バージョン 0.43

  • Windows バイナリ,バージョン 0.43 &ref(): File not found: "RMeCab_0.43.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.43 &ref(): File not found: "RMeCab_0.43.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.43 &ref(): File not found: "RMeCab_0.43.tar.gz" at page "SoftArchive";
    • エラー処理を追加

_ バージョン 0.42

  • Windows バイナリ,バージョン 0.42 &ref(): File not found: "RMeCab_0.42.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.42 &ref(): File not found: "RMeCab_0.42.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.42 &ref(): File not found: "RMeCab_0.42.tar.gz" at page "SoftArchive";
    • N-gramカウント,およびコロケーションカウント用の関数を追加

_ バージョン 0.41

  • Windows バイナリ,バージョン 0.41 &ref(): File not found: "RMeCab_0.41.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.41 &ref(): File not found: "RMeCab_0.41.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.41 &ref(): File not found: "RMeCab_0.41.tar.gz" at page "SoftArchive";
    • バージョン 0.40 で文書行列に TF-IDF などの重み付けを行う場合, [ [TOTAL-TOKENS] ] 行や[ [LESS-THAN-1] ] 行まで含めて計算していたのを修正し,これらの行を削除した結果に重み付けを行うようにした.

_ バージョン 0.40

  • Windows バイナリ,バージョン 0.40 &ref(): File not found: "RMeCab_0.40.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.40 &ref(): File not found: "RMeCab_0.40.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.40 &ref(): File not found: "RMeCab_0.40.tar.gz" at page "SoftArchive";
    • バージョン 0.39 docMatrix()関数に minFreq オプションを復活させた.また品詞や最低頻度を指定して文書行列を出力する際,テキストの総語数などの情報を表示させる.例えばテキストの総token数は [ [TOTAL-TOKENS] ]という行に,また指定された品詞(pos <- c("名詞"," 形容詞","動詞") )のうち,指定された頻度(minFreq  =1) 未満のものを, [ [LESS-THAN-1] ] という行として,文書行列に含めた.

_ バージョン 0.39

  • Windows バイナリ,バージョン 0.39 &ref(): File not found: "RMeCab_0.39.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.39 &ref(): File not found: "RMeCab_0.39.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.39 &ref(): File not found: "RMeCab_0.39.tar.gz" at page "SoftArchive";
    • 文書ターム行列を作成する際,文書が大きいとメモリが足りなくなり R が落ちることがある。そこでC++ソースを見直して,メモリの調整を行った。

_ バージョン 0.38

  • Windows バイナリ,バージョン 0.38 &ref(): File not found: "RMeCab_0.38.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.38 &ref(): File not found: "RMeCab_0.38.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.38 &ref(): File not found: "RMeCab_0.38.tar.gz" at page "SoftArchive";
    • 文書ターム行列を作成する際,文書が大きいとメモリが足りなくなり R が落ちることがある。そこでC++ソースを見直して,メモリの調整を行った。

_ バージョン 0.37

  • Windows バイナリ,バージョン 0.37
  • Macintosh バイナリ,バージョン 0.37
  • Linux バイナリ,バージョン 0.37
    • 英文マニュアルを一部追加作成.MeCab? は辞書にない単語の原形を * として返してしまうことがあることに気がついた.
      陀多と云う男が一人
      陀多    名詞,一般,*,*,*,*,*

そこで,こうした場合,入力された語形をそのまま返すよう修正.またC++コードを見直して,メモリ管理を多少改善させた.に RMeCabDoc?()関数を追加.これに伴い,RMeCabDoc?.R,RMeCabDoc?.Rd を追加した.

_ バージョン 0.36

  • Windows バイナリ,バージョン 0.36 &ref(): File not found: "RMeCab_0.36.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.36 &ref(): File not found: "RMeCab_0.36.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.36 &ref(): File not found: "RMeCab_0.36.tar.gz" at page "SoftArchive";
    • 英文マニュアルを一部追加作成.docMatrix ()関数がファイルの一行目しか読んでいないバグを修正.C++コードに RMeCabDoc?()関数を追加.これに伴い,RMeCabDoc?.R,RMeCabDoc?.Rd を追加した.

_ バージョン 0.35

  • Windows バイナリ,バージョン 0.35 &ref(): File not found: "RMeCab_0.35.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.35 &ref(): File not found: "RMeCab_0.35.tgz" at page "SoftArchive";
  • Linux バイナリ,バージョン 0.35 &ref(): File not found: "RMeCab_0.35.tar.gz" at page "SoftArchive";
    • 英文マニュアルを一部作成.C++コードを一部手直した.それに関連して R コードを見直した.

_ バージョン 0.34

  • Windows バイナリ,バージョン 0.34
  • Macintosh バイナリ,バージョン 0.34
  • Linux バイナリ,バージョン 0.34
    • 日本語・文書ターム行列の作成関数を追加.また行列に重み(TF/IDF)をつけられるようにした.

_ バージョン 0.33

  • Windows バイナリ,バージョン 0.33 &ref(): File not found: "RMeCab_0.33.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.33 &ref(): File not found: "RMeCab_0.33.tgz" at page "SoftArchive";
    • データフレームを第一引数として,第二引数で指定された列に含まれる日本語文章を解析して返す.

_ バージョン 0.32

  • Windows バイナリ,バージョン 0.32 &ref(): File not found: "RMeCab_0.32.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.32 &ref(): File not found: "RMeCab_0.32.tgz" at page "SoftArchive";
    • ファイルを読み込んで形態素原型とその頻度表を作成し,データフレームとして返す関数を追加

_ バージョン 0.2

  • Windows バイナリ,バージョン 0.2 &ref(): File not found: "RMeCab_0.2.zip" at page "SoftArchive";
  • Macintosh バイナリ,バージョン 0.2 &ref(): File not found: "RMeCab_0.2.tgz" at page "SoftArchive";
    • 形態素原型をえるオプションを追加

_ バージョン 0.1

  • Linux バイナリ,バージョン 0.1
    • とりあえず動くだけのもの.

_ ご感想などのご報告