気がつけばもうアドベントカレンダーの季節。今年も振り返りをしてみようと思う。 この記事はVOYAGE GROUP エンジニアブログ: Advent Calendar 2014の12/18分の記事です。 http://tech.voyagegroup.com/archives/7941760.html 去年も書いた振り返り記事: htt…

二日目もKeynoteとsessionがありました。メモを残しておきます。 参加したセッション SPOT305 -- Event-Driven Computing on Change Logs in AWS BDT401 -- Big Data Orchestra - Harmony within Data Analysis Tools APP303 -- Lightning Fast Deploys with…

re:Invent 2014 breakout session 1日目 個人的にメモっておきます。 Keynoteでは、AuroraがでたりConfigだったりCodeDeployだったりがでました。細かい機能の話は参照しておいて、所感中心で。 聴いたセッションは以下のとおり。 SDD406 -- Amazon EC2 Inst…

追記 2014/11/14: スライドがupされていたのでみつけたものを追加。出れてないセッションを中心に確認したい。 今年もAWS re:Inventに参加して来ます。去年いってみて、興味あるセッションを見きれなかったり、新サービスのセッションが急遽追加されたりして…

『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。…

fluent/fluentd-ui https://github.com/fluent/fluentd-ui Fluentd用のWeb UIが出たようです。試しに触ってみます。 インストール READMEのとおりですが、 $ gem install fluentd-ui $ fluentd-ui start Open http://localhost:9292/ by your browser defaul…

今日初めてsupervisorの設定をした。まだあまり使い勝手がわかっていない。 supervisorでは環境変数の展開以外、マクロ的なことができない。bash -lcを使う。例えば以下のようにする。 [program:hoge] command=bash -lc '$(which hoge)/bin/fuga start'

外付けディスプレイにTerminalを持っていったとかでサイズが変わった場合、splitしたvimのwindowのサイズも変わってしまうことが多々ある。そういった場合に、また均等に各windowのサイズを戻したい、という場合。 How to refresh vim layout when split - S…

こんな感じでpaneのresizeをするようにした。 # resize pane bind -r C-h resize-pane -L 5 bind -r C-j resize-pane -D 5 bind -r C-k resize-pane -U 5 bind -r C-l resize-pane -R 5 https://github.com/suzuken/dotfiles/blob/master/tmux.conf#L135-L13…

技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社…

背景 YARNのリソース設定周りが少しずつわかってきたので、ひとまずクライアントからはどんどんジョブを放り投げておく方針にしたい HiveServerで運用していたのだが、その過程でthriftの並列性がもっと欲しくなった HiveServer2をそろそろちゃんと使おうと…

O'Reilly Japan - Hadoop 第3版 http://www.oreilly.co.jp/books/9784873116297/ 第2版は持っていて、研究室にいた頃に読んでいた。第3版は買っていなかったので、ebookで買った。 所感 MRv2及びYARN周りの記述が追加されている YARNでの障害対応、モニタリ…

最近コードを書く時間が減っている。就業時間外にコーディングする時間の方が長い。 何をつくるかを考える時間は増えている。 ここ半年くらいインフラよりなんだけどOpsっぽいこともしている 社内での微妙な調整とか、申請とか、そういうのが相まって結果的…

可視化ツールのことがよくわからなかったので、現状確認会を開催しました。 可視化ツール現状確認会 on Zusaar http://www.zusaar.com/event/7437003 LTのスライド＆ブログまとめ あがっているものから随時更新します。 可視化ツール紹介 （showyouさん） Cl…

Delete Index http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-delete-index.html にも書いてあるけど、*が使える。単一のインデックスを消す場合には以下のようにする。 $ curl -XDELETE 'http://localhost:9200/twitter/'…

viewfinderco/viewfinder https://github.com/viewfinderco/viewfinder Viewfinder: フォトシェアリングアプリのソース25万行を公開 - ワザノバ | wazanova http://wazanova.jp/items/1310 ワザノバを読んでいて知ったんだけど、Viewfinderのコードが公開さ…

最近ちょっとした検証環境とか、小さいアプリをデプロイするのにElastic Beanstalk*1をつかってる。サーバセットアップの手間も省けるし、HTTPで叩ける小さなAPIとかだと手軽にデプロイできるので便利。 AWS Elastic Beanstalk（アプリケーションのデプロイ…

AWS Casual Talks#2で発表してきました。主催の @con_mame さん、会場を提供してくださったAWSのみなさま、どうもありがとうございました。 AWS Casual Talks#2 on Zusaar http://www.zusaar.com/event/3817003 今回は新サービスネタということで僕の発表で…

Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしや…

あんまりクエリされないけど、書き込みがめっちゃ多い運用というのもあると思う。今うちで使ってる方法だと、限られた人たちがKibanaでクエリするので、多くても2桁人。 書き込みはスムーズにしたい 検索は多少遅くてもいいけど確実に結果が帰ってきてほしい…

AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 AWSが値下げしたので飲みました。 内容はお酒とともに忘れてしまいました。何気に神回だったので、そのうちまたゲリラ的に開きたいものです。

gitで間違えて最初のコミットをしてしまった場合の話。コミットに含めたいファイルとかをついうっかり追加してしまった場合の対処法。 この場合、git resetなどで戻ることはできない。git update-refを使おう。 サンプル -> % cd /tmp/; mkdir sample-git; c…

AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 4/3です。

Localのみ推奨、となっている。 Gatewayモジュールというのがあって、 Gateway http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-gateway.html 端的にいうとクラスタ管理のためのメタデータを保持する部分になっている。デフ…

Run Spark and Shark on Amazon Elastic MapReduce : Articles & Tutorials : Amazon Web Services http://aws.amazon.com/articles/4926593393724923 これを試していた。 hadoop@ip-10-123-50-206:~$ SPARK_MEM="2g" /home/hadoop/shark/bin/shark Starting…

Homebrew/homebrew-binary https://github.com/Homebrew/homebrew-binary というのがある。 brew tap homebrew/binary でhomebrew/binaryで登録されているものもbrewでinstallできるようになる。

現象が報告されているようです。 Master branch doesn't work with Elasticsearch 1.0.1 · Issue #56 · elasticsearch/curator https://github.com/elasticsearch/curator/issues/56 curatorのmasterブランチでは対応しているようなので、現段階での対応とし…

土曜日の昼に http://go-tour-jp.appspot.com をやっていた。 http://go-tour-jp.appspot.com/#24 go-tour-36.go go-tour-41.go go-tour-44.go go-tour-48.go go-tour-56.go go-tour-58.go go-tour-60.go チュートリアル、Exerciseがちゃんと考えさせられる…

Preference http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-request-preference.html これを使う。 例 例えば、primary shardでのみ実行してみる。 GET _search?preference=_primary { "facets":{ "terms": { "terms": { "f…

追記 2014/02/06 19:58 わかりづらかったのでテンプレートのrepositoryを作りました。 https://github.com/suzuken/vagrant-puppet-elasticsearch-cluster-sample 追記 2014/02/07 10:00 johtaniさんが本記事を元に実際に環境を試してくださってました。-> …