O'Reilly Japan - Hadoop 第3版 http://www.oreilly.co.jp/books/9784873116297/ 第2版は持っていて、研究室にいた頃に読んでいた。第3版は買っていなかったので、ebookで買った。 所感 MRv2及びYARN周りの記述が追加されている YARNでの障害対応、モニタリ…
最近コードを書く時間が減っている。就業時間外にコーディングする時間の方が長い。 何をつくるかを考える時間は増えている。 ここ半年くらいインフラよりなんだけどOpsっぽいこともしている 社内での微妙な調整とか、申請とか、そういうのが相まって結果的…
可視化ツールのことがよくわからなかったので、現状確認会を開催しました。 可視化ツール現状確認会 on Zusaar http://www.zusaar.com/event/7437003 LTのスライド＆ブログまとめ あがっているものから随時更新します。 可視化ツール紹介 （showyouさん） Cl…
Delete Index http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-delete-index.html にも書いてあるけど、*が使える。単一のインデックスを消す場合には以下のようにする。 $ curl -XDELETE 'http://localhost:9200/twitter/'…
viewfinderco/viewfinder https://github.com/viewfinderco/viewfinder Viewfinder: フォトシェアリングアプリのソース25万行を公開 - ワザノバ | wazanova http://wazanova.jp/items/1310 ワザノバを読んでいて知ったんだけど、Viewfinderのコードが公開さ…
最近ちょっとした検証環境とか、小さいアプリをデプロイするのにElastic Beanstalk*1をつかってる。サーバセットアップの手間も省けるし、HTTPで叩ける小さなAPIとかだと手軽にデプロイできるので便利。 AWS Elastic Beanstalk（アプリケーションのデプロイ…
AWS Casual Talks#2で発表してきました。主催の @con_mame さん、会場を提供してくださったAWSのみなさま、どうもありがとうございました。 AWS Casual Talks#2 on Zusaar http://www.zusaar.com/event/3817003 今回は新サービスネタということで僕の発表で…
Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしや…
あんまりクエリされないけど、書き込みがめっちゃ多い運用というのもあると思う。今うちで使ってる方法だと、限られた人たちがKibanaでクエリするので、多くても2桁人。 書き込みはスムーズにしたい 検索は多少遅くてもいいけど確実に結果が帰ってきてほしい…
AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 AWSが値下げしたので飲みました。 内容はお酒とともに忘れてしまいました。何気に神回だったので、そのうちまたゲリラ的に開きたいものです。
gitで間違えて最初のコミットをしてしまった場合の話。コミットに含めたいファイルとかをついうっかり追加してしまった場合の対処法。 この場合、git resetなどで戻ることはできない。git update-refを使おう。 サンプル -> % cd /tmp/; mkdir sample-git; c…
AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 4/3です。
Localのみ推奨、となっている。 Gatewayモジュールというのがあって、 Gateway http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-gateway.html 端的にいうとクラスタ管理のためのメタデータを保持する部分になっている。デフ…
Run Spark and Shark on Amazon Elastic MapReduce : Articles & Tutorials : Amazon Web Services http://aws.amazon.com/articles/4926593393724923 これを試していた。 hadoop@ip-10-123-50-206:~$ SPARK_MEM="2g" /home/hadoop/shark/bin/shark Starting…
Homebrew/homebrew-binary https://github.com/Homebrew/homebrew-binary というのがある。 brew tap homebrew/binary でhomebrew/binaryで登録されているものもbrewでinstallできるようになる。
現象が報告されているようです。 Master branch doesn't work with Elasticsearch 1.0.1 · Issue #56 · elasticsearch/curator https://github.com/elasticsearch/curator/issues/56 curatorのmasterブランチでは対応しているようなので、現段階での対応とし…
土曜日の昼に http://go-tour-jp.appspot.com をやっていた。 http://go-tour-jp.appspot.com/#24 go-tour-36.go go-tour-41.go go-tour-44.go go-tour-48.go go-tour-56.go go-tour-58.go go-tour-60.go チュートリアル、Exerciseがちゃんと考えさせられる…
Preference http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-request-preference.html これを使う。 例 例えば、primary shardでのみ実行してみる。 GET _search?preference=_primary { "facets":{ "terms": { "terms": { "f…
追記 2014/02/06 19:58 わかりづらかったのでテンプレートのrepositoryを作りました。 https://github.com/suzuken/vagrant-puppet-elasticsearch-cluster-sample 追記 2014/02/07 10:00 johtaniさんが本記事を元に実際に環境を試してくださってました。-> …
普段はaws-cliしか使ってないのだけれど、s3cmdの最新版を使う必要があったのでメモ。以下のようにする。 $ pip install -Iv https://github.com/s3tools/s3cmd/archive/v1.5.0-beta1.tar.gz 参考: python - Installing specific package versions with Pip …
Vagrantで立ち上げたVMにいろいろ環境整えるとき、普段スクラッチでpuppet manifest書いてたんだけど、面倒なのでpuppet module使いたいなと思って調べた。本番環境でガッツリ使いたいとかならちゃんとmanifestをアレンジして管理したほうが良いと思うけど、…
昨日、サイバーエージェントのアドテクスタジオさんと弊社で合同の技術交流会を行いました。そのときの資料です。 DMPの仕組み from Kenta Suzuki イベントの様子はブログにまとめられています。運営していただいた皆様＆参加してくださった皆様どうもありが…
ひさびさにこのエラーが出た。大量のgzipファイルを解答しようとしてエラー。 $ gzip -dc hogedir/* | head zsh: argument list too long: gzip hogedir以下にはgzipファイルが8000個ほど入っている。 $ ls hogedir | wc -l 8437 xargs使うかと思ったが、こ…
管理画面から設定情報を保存しておいて、それをJSONで受け取ってfluentdのexec_filterで使うプログラム用に使っている箇所があります。管理画面のデータを保存するDBを、fluentdの入っているサーバ(以下、workerとします。)からは直接参照せず、管理画面のあ…
せっかくなので今年の振り返りをしてみます。個々エンジニアのタイムライン追うことはなかなか無いと思うので、そんな視点で楽しんでいただけると嬉しいです。 1-3月: 分析から始まった1年, HiveとかMahoutとか この頃はユーザの行動分析的なことを少しやっ…
弊社ではJenkinsおじいちゃんに日々お世話になっております。隣のチームの @_zoo さんもJenkinsおじいちゃんについての記事を書いておりました。 年の瀬にJenkinsの訃報が届いても、悲嘆にくれないために #vgadvent2013 - massの日記 http://mass.hatenablog…
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したの…
/get creator 参考: https://support.skype.com/ja/faq/FA10042/
unlessというのを知ったのでメモ。たとえばmysqlのインストールをサクッとしたいという場合にrootパスワードを設定したくなる。そこでunlessを使うことによって、既にrootユーザにパスワードが設定されているかどうかを調べることができる。 class mysql-ser…
re:Inventで聴いたセッションの備忘録。時系列順。ついでに聴きたかったけど聴けなかったのであとでビデオみるセッションも書いておく。 2013/11/25 13:17 Sessionに関するスライドと動画を見つけたものについてのみ更新 2013/11/12 AWS re:Invent Gameday S…
