やりたいこと～アクセスログ分析の負担減～

CentOS上でアクセスログの生データをコマンド加工する場合、awkとかで欲しい列のみ出力させたり、grepで特定の時間のみに絞ったり、絞ったレコードの合計数や、どの時間にアクセスが多いかなど、とにかく大変。
必要な情報が何かを考える　→　それらを出力するコマンドを組み合わせる　→　実行する　とかやってるうちにものすごく時間が経っている。
とにかく出力コマンド作ることの負担が大きすぎる。
しかも出力結果はグラフ化されるわけではないし、出力結果を保存の為いちいちメモ帳にコピペ、しかもずらっと行が並ぶため、全体像が見えてこない。
やりたいことははっきりしているのに、必要データを出力するコマンド作成にどれだけ無駄な時間を割いてきたことか・・・。
仕事とはいえ、よくこんなバカなことやってたよなぁ・・・。

kibanaでログ分析できると情報を得たので試してみることにした。
https://www.elastic.co/jp/webinars/getting-started-kibana

kibanaを使ってみた

kibanaへのデータインポートはめっちゃ簡単。
あと、いつもログ見る時にやっていること、
・どこのIPアドレスからアクセスが多いか（いつもは| awk ‘{print $1}’ | sort |uniq -c|sort -nrとか使って実現してる）
・404エラーがどのくらい出ているか
・必要な列のみ出力
これらのフィルタをかけたりソートしたりがものすごく簡単にできる！

どこのIPアドレスからアクセスが多いかなどは　clientipをaddしたりVisualizeすれば簡単に集計できるし、やたらトラフィックが出ているならbytes、clientip、requestのみをaddし、bytesでソートすれば他の鬱陶しい情報に煩わされることなく原因が分かりそう。
時間帯でフィルタをかけたい場合も、表示されている棒グラフの該当時間あたりをクリックしたりドラッグすれば簡単にできる。

フィルタをかけた状態やVisualizeした状態で保存して名前をつけておけるので、あとから簡単に呼び出すこともできる。
こりゃほんと便利だわ。