xsvコマンドでCSVデータの整形、分析を高速に行う
xsvのインストール方法
xsvというコマンドラインツールがあり、このコマンドを使うとCSVデータの整形、分析などが簡単かつ高速にできる。
インストールの方法だが、下記ページに各OS用の最新版バイナリがあるのでダウンロードして展開すればよい。
Releases · BurntSushi/xsv · GitHub
Macの場合は以下の通り。あとはPATHの通ったディレクトリに置けばよい。
$ curl -sOL https://github.com/BurntSushi/xsv/releases/download/0.10.3/xsv-0.10.3-x86_64-apple-darwin.tar.gz $ tar xf xsv-0.10.3-x86_64-apple-darwin.tar.gz $ ./xsv --version 0.10.3
テストCSVデータ
xsvコマンドを試そうにも手頃なCSVデータがないのでREADMEに書いてあったファイルを利用することにする。
下記コマンドでダウンロードできるが約150MB程度あるので注意。
$ curl -LO http://burntsushi.net/stuff/worldcitiespop.csv
xsvの使い方
基本的な使い方はxsv --helpコマンドで確認できる。それぞれのサブコマンドについてもxsv cat --helpなどでヘルプを表示できる。
$ xsv --help
Usage:
xsv <command> [<args>...]
xsv [options]
Options:
--list List all commands available.
-h, --help Display this message
--version Print version info and exit
Commands:
cat Concatenate by row or column
count Count records
fixlengths Makes all records have same length
flatten Show one field per line
fmt Format CSV output (change field delimiter)
frequency Show frequency tables
headers Show header names
help Show this usage message.
index Create CSV index for faster access
input Read CSV data with special quoting rules
join Join CSV files
sample Randomly sample CSV data
search Search CSV data with regexes
select Select columns from CSV
slice Slice records from CSV
sort Sort CSV data
split Split CSV data into many files
stats Compute basic statistics
table Align CSV data into columns以下、それぞれのサブコマンドの使い方を見ていく。
cat
列方向、行方向にCSVファイルを結合する。
$ cat test.csv A,B 1,0.1 2,0.2 $ xsv cat rows test.csv test.csv A,B 1,0.1 2,0.2 1,0.1 2,0.2 $ xsv cat columns test.csv test.csv A,B,A,B 1,0.1,1,0.1 2,0.2,2,0.2
count
行数をカウントする（ヘッダは含めない）。ヘッダがないファイルの場合は--no-headersを指定する。
$ xsv count worldcitiespop.csv 3173958 $ xsv count --no-headers worldcitiespop.csv 3173959
fixlengths
データが欠けている場合に修正する。例の場合は、最終行の欠けている要素が埋められていることがわかる。-l 2のように列数を指定して修正することも可能。
$ cat test2.csv A,B,C 1,0.1,100 2,0.2 $ xsv fixlengths test2.csv A,B,C 1,0.1,100 2,0.2, $ xsv fixlengths -l 2 test2.csv A,B 1,0.1 2,0.2
flatten
縦に並べて表示する。
$ xsv sample 3 worldcitiespop.csv | xsv flatten Country ir City badi` kheyl AccentCity Badi` Kheyl Region 35 Population Latitude 36.351506 Longitude 51.749572 # Country ru City brysina AccentCity Brysina Region 41 Population Latitude 51.8367 Longitude 34.7219 # Country kr City saraegi AccentCity Saraegi Region 13 Population Latitude 37.5307 Longitude 127.1672
fmt
フォーマットを変換する。下記コマンドだとタブ区切りで、デフォルトの引用符（"）で囲むようにして出力する。
$ xsv fmt -t "\t" --quote-always worldcitiespop.csv > fmt.csv $ head -n 3 fmt.csv "Country" "City" "AccentCity" "Region" "Population" "Latitude" "Longitude" "ad" "aixas" "Aixàs" "06" "" "42.4833333" "1.4666667" "ad" "aixirivali" "Aixirivali" "06" "" "42.4666667" "1.5"
frequency
出現頻度の高い値を出力する。-lは表示する数。例の場合だとPopulationのほとんどが(NULL)だとわかる。
$ xsv frequency -l 3 worldcitiespop.csv | xsv table field value count Country cn 238985 Country ru 215938 Country id 176546 City san jose 328 City san antonio 320 City santa rosa 296 AccentCity San Antonio 317 AccentCity Santa Rosa 296 AccentCity Santa Cruz 281 Region 04 159916 Region 02 142158 Region 07 126867 Population (NULL) 3125978 Population 2310 12 Population 2230 11 Latitude 51.15 777 Latitude 51.083333 772 Latitude 51.116667 769 Longitude 23.8 484 Longitude 23.2 477 Longitude 23.05 476
headers
ヘッダ情報を出力する。
$ xsv headers worldcitiespop.csv 1 Country 2 City 3 AccentCity 4 Region 5 Population 6 Latitude 7 Longitude
index
インデックスファイルを作成する。下記コマンドを実行するとworldcitiespop.csv.idxというファイルが作成される。sliceやstatsコマンドなどはインデックスファイルを作成しておいた方が高速に処理できるとのこと。
$ xsv index worldcitiespop.csv
input
デリミタなどを指定して読み込む。例えば、上記のfmtで変換したファイルで統計情報を表示しようとするとうまくいかないが、デリミタを指定してinputすれば表示できる。
$ xsv stats fmt.csv | xsv table field type sum min max min_length max_length mean stddev "Country ""City"" ""AccentCity"" ""Region"" ""Population"" ""Latitude"" ""Longitude""" Unicode "ad ""aixas"" ""Aixàs"" ""06"" """" ""42.4833333"" ""1.4666667""" "zw ""zvishavane"" ""Zvishavane"" ""07"" ""79876"" ""-20.3333333"" ""30.0333333""" 32 218 $ xsv input -d "\t" fmt.csv | xsv stats | xsv table field type sum min max min_length max_length mean stddev Country Unicode ad zw 2 2 …
join
SQL文のJOIN句のような処理ができる。オプションでLEFT OUTER JOIN、RIGHT OUTER JOINなども指定できる。
$ cat input1.csv id,name,genre_id 1,name1,2 2,name2,2 3,name3,1 $ cat input2.csv id,genre 1,genre1 2,genre2 $ xsv join genre_id input1.csv id input2.csv | xsv table id name genre_id id genre 1 name1 2 2 genre2 2 name2 2 2 genre2 3 name3 1 1 genre1
sample
ランダムでサンプリングして出力する。下記コマンドの10は抽出数。
$ xsv sample 10 worldcitiespop.csv | xsv table Country City AccentCity Region Population Latitude Longitude us west end West End PA 39.9519444 -78.7488889 us rumford Rumford ME 8339 44.5536111 -70.5513889 ml amgoundji Amgoundji 02 17.05 -1.1333333 th ban nong pho Ban Nong Pho 52 13.416667 99.8 de marktgolitz Marktgölitz 15 50.55 11.35 mz djo Djo 10 -18.2802778 33.4563889 tr gultepe Gültepe 69 40.046399 39.28264 tr alacayir Alacayir 24 39.80777 38.935108 id detunabe Detunabe 18 -8.6968 121.8149 id kadukampong Kadukampong 33 -6.2506 106.1266
search
正規表現で検索する。-sで検索する列を指定することも可能。-iは大文字、小文字を区別しない。-vでマッチしない行を出力することも可能。
$ xsv search -s City -i japan worldcitiespop.csv | xsv slice -l 5 | xsv table Country City AccentCity Region Population Latitude Longitude bo nuevo japan Nuevo Japan 04 -15.35 -68.0666667 id ajapanisi Ajapanisi 38 -4.5714 120.1593 id bawakjapan Bawakjapan 07 -7.758056 110.676667 id djapanan Djapanan 08 -7.5647 112.6901 id djapan Djapan 07 -7.449167 110.281944
select
出力する列を指定する。列番号、列名での指定、順番の並び替えなども可能。'!1-4'は否定で1-4列目以外のこと。
$ xsv select 1,4 worldcitiespop.csv | xsv slice -l 3 | xsv table
Country Region
ad 06
ad 06
ad 06
$ xsv select 1-4 worldcitiespop.csv | xsv slice -l 3 | xsv table
Country City AccentCity Region
ad aixas Aixàs 06
ad aixirivali Aixirivali 06
ad aixirivall Aixirivall 06
$ xsv select AccentCity,City worldcitiespop.csv | xsv slice -l 3 | xsv table
AccentCity City
Aixàs aixas
Aixirivali aixirivali
Aixirivall aixirivall
$ xsv select Country,Region worldcitiespop.csv | xsv slice -l 3 | xsv table
Country Region
ad 06
ad 06
ad 06
$ xsv select Region-Country worldcitiespop.csv | xsv slice -l 3 | xsv table
Region AccentCity City Country
06 Aixàs aixas ad
06 Aixirivali aixirivali ad
06 Aixirivall aixirivall ad
$ xsv select '!1-4' worldcitiespop.csv | xsv slice -l 3 | xsv table
Population Latitude Longitude
42.4833333 1.4666667
42.4666667 1.5
42.4666667 1.5
slice
特定の行を抽出する。-sと-eは開始行と終了行、-lは抽出行数。1行だけ抽出したい場合は-iを指定する。
$ xsv slice -s 5000 -e 5003 worldcitiespop.csv Country,City,AccentCity,Region,Population,Latitude,Longitude af,`atamohammed kala,`Atamohammed Kala,08,,33.404722,68.474722 af,atamsa kalay,Atamsa Kalay,29,,32.933556,69.44915 af,atamshakalay,Atamshakalay,29,,32.933556,69.44915 $ xsv slice -s 10000 -l 3 worldcitiespop.csv Country,City,AccentCity,Region,Population,Latitude,Longitude af,bodana qal`eh-ye yekom,Bodana Qal`eh-ye Yekom,30,,36.52137,66.941631 af,boday,Boday,08,,32.972897,68.358986 af,boday-naw,Boday-naw,18,,34.300289,69.708168 $ xsv slice -i 20000 worldcitiespop.csv Country,City,AccentCity,Region,Population,Latitude,Longitude af,dekhmushan,Dekhmushan,09,,34.332854,66.383943
sort
カラムを指定してソートする。
$ xsv sample 10 worldcitiespop.csv | xsv sort -s City | xsv table Country City AccentCity Region Population Latitude Longitude af alamkhel Alamkhel 37 33.157147 69.697729 ru bugristoye Bugristoye 13 54.0075 61.6014 es cruces Cruces 58 42.758775 -7.164669 do gajo de bohio Gajo de Bohío 23 19.0833333 -71.3666667 bo ipira Ipira 07 -18.2666667 -65.9333333 cl molco Molco 11 -35.733333 -72.383333 ru normanka Normanka 73 54.954221 48.742891 cn pingwang Pingwang 04 30.976667 120.636111 us rowland mills Rowland Mills NJ 40.5566667 -74.8541667 cz slezska ostrava Slezska Ostrava 85 49.836902 18.311172
split
ファイルを分割して出力する。下記コマンドは100万行単位でoutput/ディレクトリに出力する例。分割後のファイルにはヘッダも付く。
$ xsv split -s 1000000 output/ worldcitiespop.csv $ wc -l output/* 1000001 output/0.csv 1000001 output/1000000.csv 1000001 output/2000000.csv 173959 output/3000000.csv 3173962 total
stats
統計情報を出力する。
$ xsv stats worldcitiespop.csv | xsv table field type sum min max min_length max_length mean stddev Country Unicode ad zw 2 2 City Unicode bab el ahmar Þykkvibaer 1 91 AccentCity Unicode Bâb el Ahmar ïn Bou Chella 1 91 Region Unicode 00 Z9 0 2 Population Integer 2289584999 7 31480498 0 8 47719.570633597126 302885.5592040396 Latitude Float 86294096.37312101 -54.933333 82.483333 1 12 27.188165808468785 21.95261384912504 Longitude Float 117718483.57958724 -179.9833333 180 1 14 37.08885989656418 63.223010459241635
--everythingを指定すればmedian、mode、cardinalityも表示される。
$ xsv stats worldcitiespop.csv --everything | xsv table field type sum min max min_length max_length mean stddev median mode cardinality Country Unicode ad zw 2 2 cn 234 City Unicode bab el ahmar Þykkvibaer 1 91 san jose 2351892 AccentCity Unicode Bâb el Ahmar ïn Bou Chella 1 91 San Antonio 2375760 Region Unicode 00 Z9 0 2 13 04 397 Population Integer 2289584999 7 31480498 0 8 47719.570633597126 302885.5592040396 10779 28754 Latitude Float 86294096.37312101 -54.933333 82.483333 1 12 27.188165808468785 21.95261384912504 32.4972221 51.15 1038349 Longitude Float 117718483.57958724 -179.9833333 180 1 14 37.08885989656418 63.223010459241635 35.28 23.8 1167162
table
データを見やすく整形して表示できる。データ数が多いと時間がかかるので注意。
$ xsv slice -l 5 worldcitiespop.csv | xsv table Country City AccentCity Region Population Latitude Longitude ad aixas Aixàs 06 42.4833333 1.4666667 ad aixirivali Aixirivali 06 42.4666667 1.5 ad aixirivall Aixirivall 06 42.4666667 1.5 ad aixirvall Aixirvall 06 42.4666667 1.5 ad aixovall Aixovall 06 42.4666667 1.4833333
