すずけんメモ

技術メモです

新社会人エンジニアに向けて

新卒一年目の時にやっておけばよかったこと、というネタ振りで社内日報に書いた。こっちにも貼っておく。 毎日コードを書こう。業務では様々な事情で打合せが増えたりして悶々とすることもある。良いコードを書けない人はコードを書いてる絶対量が少ない。コ…

複数hostについてlistenしているnet.httpサーバを立ち上げ、そして落とす

先ほどのメモに引き続き HTTP Serverの止め方 - すずけんメモsuzuken.hatenablog.jp 今度はこれを複数hostについてlistenしたい。これもテスト用に使いたかったもの。で、下のように書いてみた。 gist.github.com 10秒間は複数hostについてlistenさせている…

HTTP Serverの止め方

結合テストの際にHTTP Serverを立ち上げて、テストが終わったらListenをやめる、というのをやりたかったので調べた。下のようにしてStopさせてみた。 gist.github.com hydrogen18/stoppableListener · GitHub では StoppableListenerを実装していて、net.TCP…

age++

年齢が平成に追い付きました。 例年のやりとりです。 私も年齢が平成に追いつきました— suzuken (@suzu_v) 2015, 3月 26 http://www.amazon.co.jp/registry/wishlist/30VYSQHWD1K65

JAWS DAYS 2015で発表してきました

JAWS DAYS 2015でData Engineering at VOYAGE GROUPという題で発表してきました。運営の皆様、聴きに来てくださった皆様、どうもありがとうございました。 Data Engineering at VOYAGE GROUP #jawsdays from Kenta Suzuki 内容としては行動ターゲティング基…

JAWS DAYS 2015で発表します

JAWS DAYS 2015で弊社でのデータエンジニアリングについて発表します。3/22の11:10から発表予定です。 http://jawsdays2015.jaws-ug.jp/speaker/suzuki/

Windowsで外付けHDDに書いてもらったファイルをMacで読み込む必要があったので調べた

brew install ntfs-3g sudo mv /sbin/mount_ntfs /sbin/mount_ntfs.orig sudo ln -s /usr/local/Cellar/ntfs-3g/2014.2.15/sbin/mount_ntfs /sbin/mount_ntfs brew install osxfuse sudo /bin/cp -RfX /usr/local/opt/osxfuse/Library/Filesystems/osxfusefs…

年報 #vgadvent2014

気がつけばもうアドベントカレンダーの季節。今年も振り返りをしてみようと思う。 この記事はVOYAGE GROUP エンジニアブログ: Advent Calendar 2014の12/18分の記事です。 http://tech.voyagegroup.com/archives/7941760.html 去年も書いた振り返り記事: htt…

AWS re:Invent 2014 breakout session 2日目

二日目もKeynoteとsessionがありました。メモを残しておきます。 参加したセッション SPOT305 -- Event-Driven Computing on Change Logs in AWS BDT401 -- Big Data Orchestra - Harmony within Data Analysis Tools APP303 -- Lightning Fast Deploys with…

AWS re:Invent breakout session 1日目

re:Invent 2014 breakout session 1日目 個人的にメモっておきます。 Keynoteでは、AuroraがでたりConfigだったりCodeDeployだったりがでました。細かい機能の話は参照しておいて、所感中心で。 聴いたセッションは以下のとおり。 SDD406 -- Amazon EC2 Inst…

今年もAWS re:Inventに行ってきます&興味のあるセッション一覧メモ

aws

追記 2014/11/14: スライドがupされていたのでみつけたものを追加。出れてないセッションを中心に確認したい。 今年もAWS re:Inventに参加して来ます。去年いってみて、興味あるセッションを見きれなかったり、新サービスのセッションが急遽追加されたりして…

サービス改善とログデータ解析について発表してきました

『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。…

Fluentd UIが出たので触ってみた

fluent/fluentd-ui https://github.com/fluent/fluentd-ui Fluentd用のWeb UIが出たようです。試しに触ってみます。 インストール READMEのとおりですが、 $ gem install fluentd-ui $ fluentd-ui start Open http://localhost:9292/ by your browser defaul…

supervisorのcommandで$()を使いたいとき

今日初めてsupervisorの設定をした。まだあまり使い勝手がわかっていない。 supervisorでは環境変数の展開以外、マクロ的なことができない。bash -lcを使う。例えば以下のようにする。 [program:hoge] command=bash -lc '$(which hoge)/bin/fuga start'

splitしたwindowをもとのサイズに戻す

vim

外付けディスプレイにTerminalを持っていったとかでサイズが変わった場合、splitしたvimのwindowのサイズも変わってしまうことが多々ある。そういった場合に、また均等に各windowのサイズを戻したい、という場合。 How to refresh vim layout when split - S…

paneのresizeを見なおした

こんな感じでpaneのresizeをするようにした。 # resize pane bind -r C-h resize-pane -L 5 bind -r C-j resize-pane -D 5 bind -r C-k resize-pane -U 5 bind -r C-l resize-pane -R 5 https://github.com/suzuken/dotfiles/blob/master/tmux.conf#L135-L13…

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました

技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社…

EMRでHiveServer2を立ち上げてみた

背景 YARNのリソース設定周りが少しずつわかってきたので、ひとまずクライアントからはどんどんジョブを放り投げておく方針にしたい HiveServerで運用していたのだが、その過程でthriftの並列性がもっと欲しくなった HiveServer2をそろそろちゃんと使おうと…

O'Reilly Hadoop 第3版を買った

O'Reilly Japan - Hadoop 第3版 http://www.oreilly.co.jp/books/9784873116297/ 第2版は持っていて、研究室にいた頃に読んでいた。第3版は買っていなかったので、ebookで買った。 所感 MRv2及びYARN周りの記述が追加されている YARNでの障害対応、モニタリ…

近況

最近コードを書く時間が減っている。就業時間外にコーディングする時間の方が長い。 何をつくるかを考える時間は増えている。 ここ半年くらいインフラよりなんだけどOpsっぽいこともしている 社内での微妙な調整とか、申請とか、そういうのが相まって結果的…

#可視化 ツール現状確認会を開催しました

可視化ツールのことがよくわからなかったので、現状確認会を開催しました。 可視化ツール現状確認会 on Zusaar http://www.zusaar.com/event/7437003 LTのスライド&ブログまとめ あがっているものから随時更新します。 可視化ツール紹介 (showyouさん) Cl…

複数のインデックスをまとめて消す方法

Delete Index http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-delete-index.html にも書いてあるけど、*が使える。単一のインデックスを消す場合には以下のようにする。 $ curl -XDELETE 'http://localhost:9200/twitter/'…

Viewfinderのコードが公開されていた

viewfinderco/viewfinder https://github.com/viewfinderco/viewfinder Viewfinder: フォトシェアリングアプリのソース25万行を公開 - ワザノバ | wazanova http://wazanova.jp/items/1310 ワザノバを読んでいて知ったんだけど、Viewfinderのコードが公開さ…

Elastic Beanstalkを使うときのIAM policy設定

最近ちょっとした検証環境とか、小さいアプリをデプロイするのにElastic Beanstalk*1をつかってる。サーバセットアップの手間も省けるし、HTTPで叩ける小さなAPIとかだと手軽にデプロイできるので便利。 AWS Elastic Beanstalk(アプリケーションのデプロイ…

AWS Casual Talks #2 で発表してきました #awscasual

aws

AWS Casual Talks#2で発表してきました。主催の @con_mame さん、会場を提供してくださったAWSのみなさま、どうもありがとうございました。 AWS Casual Talks#2 on Zusaar http://www.zusaar.com/event/3817003 今回は新サービスネタということで僕の発表で…

Elasticsearchのクラスタにノードを追加するときにやっていること

Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしや…

write heavyなときの設定

あんまりクエリされないけど、書き込みがめっちゃ多い運用というのもあると思う。今うちで使ってる方法だと、限られた人たちがKibanaでクエリするので、多くても2桁人。 書き込みはスムーズにしたい 検索は多少遅くてもいいけど確実に結果が帰ってきてほしい…

AWSが値下げしたので飲む会を開催しました #awssake

aws

AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 AWSが値下げしたので飲みました。 内容はお酒とともに忘れてしまいました。何気に神回だったので、そのうちまたゲリラ的に開きたいものです。

初回のコミットを取り消したいときにはgit update-refを使う

git

gitで間違えて最初のコミットをしてしまった場合の話。コミットに含めたいファイルとかをついうっかり追加してしまった場合の対処法。 この場合、git resetなどで戻ることはできない。git update-refを使おう。 サンプル -> % cd /tmp/; mkdir sample-git; c…

AWSが値下げになったので飲みます

AWSが値下げしたので飲む会 on Zusaar http://www.zusaar.com/event/4817003 4/3です。