もた日記

くだらないことを真面目にやる

データ分析

CSVの処理で使えそうなコマンドラインツール(column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview)

column textql csvkit xsv visidata csvtotable daff tabview CSV(またはTSV)を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは…

JSONの処理で使えそうなコマンドラインツール(json.tool, jo, jq, jid, gron, jp, json-server, json2csv, jsondiffpatch)

python -m json.tool jo jq jid gron jp json-server json2csv jsondiffpatch JSONの処理で使えそうなコマンドラインツールを簡単に試してみる。 python -m json.tool 19.2. json — JSON エンコーダおよびデコーダ — Python 3.6.5 ドキュメント Pythonのjson…

Pythonメモ : pandas-profilingでDataFrameのプロファイリング

pandas-profiling インストール 使い方 プロファイリング結果 pandas-profiling github.com pandas-profilingというpandasのDataFrameのプロファイリング結果を出力するライブラリがあったので試してみる。取得したデータの概要を知りたいときに使えそう。 …

Linuxメモ : GoAccessでリアルタイムにWebログ解析

GoAccess インストール 使い方:ターミナル 基本 tail -f 複数ファイル キーバインド 使い方:HTML版 基本 リアルタイム解析 参考:ダミーログ生成 GoAccess GoAccess - Visual Web Log Analyzer(公式ページ) github.com GoAccessはリアルタイムにWebログ…

Pythonメモ : mimesisでテストデータを生成する

mimesis インストール 使い方 作成可能なデータ種別 JSONスキーマを指定して出力 mimesis github.commimesisというというPythonライブラリを使用するとテストデータを簡単に生成することができるので試してみる。特徴としては、 fakerなどの他のライブラリに…

Pythonメモ : fakerでテストデータを生成する

faker インストール 使い方:コマンド 使い方:コード faker github.comfakerというPythonパッケージを使用するとテストデータを簡単に生成することができる。PHP Faker, Perl Faker, Ruby Fakerにインスパイアされたとのこと。

コンソールで表形式データを操作するVisiDataを使ってみる

VisiData インストール 使い方 起動、ヘルプ、終了 移動 ソート 編集 分布 保存 VisiData VisiDataはコンソールで表形式データを操作することができるツール。github.com

CSVtoTableでCSVファイルをソート可能なHTMLテーブルに変換

CSVtoTable インストール 使い方 CSVtoTable github.comCSVtoTableというツールを使うとCSVファイルをソート可能なHTMLテーブル(中身はDataTables)に変換することができる。デモはここで確認可能。

Pythonメモ : データパッケージマネージャQuiltを使ってみる

インストール パッケージ一覧 基本的な使い方 データセットを作成する インストール quiltdata.comQuiltはデータセットを管理するデータパッケージマネージャ。データセットをパッケージ化することで再利用しやすくし、バージョンも管理できる。 Quiltはpip…

xsvコマンドでCSVデータの整形、分析を高速に行う

xsvのインストール方法 テストCSVデータ xsvの使い方 cat count fixlengths flatten fmt frequency headers index input join sample search select slice sort split stats table xsvのインストール方法 xsvというコマンドラインツールがあり、このコマンド…