もた日記

くだらないことを真面目にやる

データ分析

Linuxメモ : GoAccessでリアルタイムにWebログ解析

GoAccess インストール 使い方:ターミナル 基本 tail -f 複数ファイル キーバインド 使い方:HTML版 基本 リアルタイム解析 参考:ダミーログ生成 GoAccess GoAccess - Visual Web Log Analyzer(公式ページ) github.com GoAccessはリアルタイムにWebログ…

Pythonメモ : mimesisでテストデータを生成する

mimesis インストール 使い方 作成可能なデータ種別 JSONスキーマを指定して出力 mimesis github.commimesisというというPythonライブラリを使用するとテストデータを簡単に生成することができるので試してみる。特徴としては、 fakerなどの他のライブラリに…

Pythonメモ : fakerでテストデータを生成する

faker インストール 使い方:コマンド 使い方:コード faker github.comfakerというPythonパッケージを使用するとテストデータを簡単に生成することができる。PHP Faker, Perl Faker, Ruby Fakerにインスパイアされたとのこと。

コンソールで表形式データを操作するVisiDataを使ってみる

VisiData インストール 使い方 起動、ヘルプ、終了 移動 ソート 編集 分布 保存 VisiData VisiDataはコンソールで表形式データを操作することができるツール。github.com

CSVtoTableでCSVファイルをソート可能なHTMLテーブルに変換

CSVtoTable インストール 使い方 CSVtoTable github.comCSVtoTableというツールを使うとCSVファイルをソート可能なHTMLテーブル(中身はDataTables)に変換することができる。デモはここで確認可能。

Pythonメモ : データパッケージマネージャQuiltを使ってみる

インストール パッケージ一覧 基本的な使い方 データセットを作成する インストール quiltdata.comQuiltはデータセットを管理するデータパッケージマネージャ。データセットをパッケージ化することで再利用しやすくし、バージョンも管理できる。 Quiltはpip…

xsvコマンドでCSVデータの整形、分析を高速に行う

xsvのインストール方法 テストCSVデータ xsvの使い方 cat count fixlengths flatten fmt frequency headers index input join sample search select slice sort split stats table xsvのインストール方法 xsvというコマンドラインツールがあり、このコマンド…