アールメカブ

• 追加された行はこの色です。
• 削除された行はこの色です。
• R_tokenizer へ行く。
• R_tokenizer の差分を削除

[[Programming]]
[[Rの備忘録]]

* R でテキストをトークンに区切ってベクトルオブジェクトにする． [#a4d6412c]

 pt1 <- proc.time()
 text.raw <- readLines("dickens.txt")
 text.vec <-  unlist(strsplit(text.raw, 
   split = "[[:blank:]]|[[:punct:]]",  
   extended = TRUE, perl = TRUE))
 text.vec <- text.vec[text.vec != ""]
 
 pt2 <- proc.time()
 pt2 - pt1
 
 length(text.vec)