データ分析
column textql csvkit xsv visidata csvtotable daff tabview CSV(またはTSV)を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは…
python -m json.tool jo jq jid gron jp json-server json2csv jsondiffpatch JSONの処理で使えそうなコマンドラインツールを簡単に試してみる。 python -m json.tool 19.2. json — JSON エンコーダおよびデコーダ — Python 3.6.5 ドキュメント Pythonのjson…
pandas-profiling インストール 使い方 プロファイリング結果 pandas-profiling github.com pandas-profilingというpandasのDataFrameのプロファイリング結果を出力するライブラリがあったので試してみる。取得したデータの概要を知りたいときに使えそう。 …
GoAccess インストール 使い方:ターミナル 基本 tail -f 複数ファイル キーバインド 使い方:HTML版 基本 リアルタイム解析 参考:ダミーログ生成 GoAccess GoAccess - Visual Web Log Analyzer(公式ページ) github.com GoAccessはリアルタイムにWebログ…
mimesis インストール 使い方 作成可能なデータ種別 JSONスキーマを指定して出力 mimesis github.commimesisというというPythonライブラリを使用するとテストデータを簡単に生成することができるので試してみる。特徴としては、 fakerなどの他のライブラリに…
faker インストール 使い方:コマンド 使い方:コード faker github.comfakerというPythonパッケージを使用するとテストデータを簡単に生成することができる。PHP Faker, Perl Faker, Ruby Fakerにインスパイアされたとのこと。
VisiData インストール 使い方 起動、ヘルプ、終了 移動 ソート 編集 分布 保存 VisiData VisiDataはコンソールで表形式データを操作することができるツール。github.com
CSVtoTable インストール 使い方 CSVtoTable github.comCSVtoTableというツールを使うとCSVファイルをソート可能なHTMLテーブル(中身はDataTables)に変換することができる。デモはここで確認可能。
インストール パッケージ一覧 基本的な使い方 データセットを作成する インストール quiltdata.comQuiltはデータセットを管理するデータパッケージマネージャ。データセットをパッケージ化することで再利用しやすくし、バージョンも管理できる。 Quiltはpip…
xsvのインストール方法 テストCSVデータ xsvの使い方 cat count fixlengths flatten fmt frequency headers index input join sample search select slice sort split stats table xsvのインストール方法 xsvというコマンドラインツールがあり、このコマンド…