サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました

技評さんでログ解析のムック本を共著で執筆させていただきました。

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)

発売は2014/8/8の予定です。テーマはログ収集と可視化です。表紙に載ってる通り、Fluentd、Elasticsearch、Kibanaを中心に据えた本となっています。

私は特集1の「サービス改善はログ解析から」を担当しました。サービスにおいて、なぜログ解析を行う必要があるのか。どのような選択肢があり、どのように方法を選択していけば良いのかといった観点から書きました。特にエンジニアとしてサービスを改善していくために、どのようにデータを活用していくかという点に重きを置きました。

特集2は@yoshi_kenさんによるFluentdの徹底入門です。使いはじめる方法から、運用の際に意識しなければならないことまで網羅的に書かれています。また、Fluentdはプラグインも増えてきて、それぞれのケースにどのプラグインを選べばよいか悩ましいところがあります。Fluentdプラグインの逆引き集を作られていました。

特集3は@johtaniさんによるElasticsearch入門です。データストアとしてのElasticsearchという側面から丁寧にかかれています。Elasticsearchの基礎的な部分はもちろんのこと、運用時のTipsについても掲載されています。また、インデックスの管理周りは実際に運用していくと知見の必要なところになりますが、これらを支えるツールについても記されています。

特集4は@harukasanさんによるKibana入門です。Kibanaを使う際、ヒストグラムをさくっとかいてあとはterms、といったような使い方をされる方が多いかと思います。でも実はKibanaには多くのパネルがありますし、データの見せ方を工夫することが出来ます。なかなかKibanaの使い方について丁寧に解説された資料は少ないです。

私自身、実務でFluentd、Elasticsearch、Kibanaの組み合わせで利用しています。最初構築してみたものの、実際にこれを活かしていくなかの気付きがありました。どんな場面でもまず手軽に可視化をするところから始まりますが、実データが流れ始めると、最初の段階では想定していなかった嬉しい発見があるものです。流れてくるデータを早い段階でドリルダウンしやすい環境を提供することで、チームでプロダクトを作っていく上で役立つ場面が数多く有りました。

また、今回執筆を進める中で、ログ解析というテーマに正面から取り組む時間を改めて得ることが出来ました。実サービスでログを利用する際にネックになることはなんだろうか。どうしたらスムーズにログを利活用することが可能になるだろうか。データ量が増えた場合にどのように対処すべきか。他のサービスと共存して利用するにはどうすべきか。時系列データの可視化がどこまで役に立つのか。ドリルダウンによって見えるものはどこまで利用できるだろうか。課題であると思っていることについて一つ一つ向き合って書き進めました。Fluentd、Elasticsearch、Kibanaという構成は手軽に構築できてしまうからこそ、どのように活用し、どのように運用していくべきか。これを運用することで何がわかり、何と比較し、どのように使い分けるべきか。そういった観点が大事になります。ログの活用に役立つ1冊になれば嬉しいです。