データのクレンジング方法

色々とデータをいじっているのですが、

テキストデータを扱う場合は

awk、seqなどを使うと早く処理できるなーと思いつつ。

もっといい方法はないかなーと思っていたら、

sqliteは、どんなファイル形式であろうと、

一度sqliteに突っ込んでしまえばSQLになって、

RとかPythonとかとも連携できてしまうそうですね。

ローデータをsqliteに突っ込んでから、
クレンジングデータを作った上で、
分析するのがいいんでしょうかね。

これも試行錯誤が必要ですな。

具体的は手法の話についてはこちら。