すずけんメモ

技術メモです

re:Invent 2015のスライドをみたメモ その2

re:Invent 2015のスライドをみたメモ - すずけんメモ のつづき。 (BDT320) New! Streaming Data Flows with Amazon Kinesis Firehose KinesisのGMとPMの方の発表 Kinesis Streamの最近のupdate 500 records / 5MB payloadまでのPutRecords API 1レコードの最…

re:Invent 2015のスライドをみたメモ

今年はre:Inventには参加せずオフィスで仕事しようと考えていたのですが、実は先週急遽入院していました。*1ちょうどre:Inventのスライドとビデオが公開されていたので、昨日今日とメモしたものをここに貼っておきます。 スライドしかみてないので、デモ中心…

ATSに対応できているかチェックするツールats_checkerを書いた

追記: El CapitanにATS用のチェックツールが nscurl に付属したのでそちらをつかうことをおすすめします。 App Transport Security Technote: App Transport Security Technote https://developer.apple.com/library/watchos/technotes/App-Transport-Securi…

任意のコマンドを適当にリトライするツール、retryを書いた。

外部サービス叩いたりしてるとよく手元でretryすることになったりする。shellで書いても良いのだけど、Goで書いてみた。 suzuken/retry https://github.com/suzuken/retry -> % retry Usage: retry <command> -initialInterval int retry interval(s) (default 1) -ma</command>…

Go 1.5でgo docがちょっと便利になった

$ go doc fmt.Sprintf func Sprintf(format string, a ...interface{}) string Sprintf formats according to a format specifier and returns the resulting string. 見やすくなりましたね。

iTerm2でビープ音を消す

iTermのバージョン: Build 2.1.1 Preferences -> Profiles -> Terminalの中のNotification -> Silence bellをonに。

YAPC::Asia Tokyo 2015 前夜祭に行ってきた

YAPC::Asia Tokyo 2015 の前夜祭に行ってきました。仕事終わりに埼京線からりんかい線に乗り継ぎ、国際展示場へ。ビッグサイトはちょっと時間がかかるかなと思っていましたが、空いていたので渋谷から30分ほどで着きました。 聴いたトークは3つ。メモがてら…

JAWS-UG Meguro #0 でAWS SDK for Goについて発表してきました

「カジュアルなAWSの集いをやりますよ!」というお誘いをいただいて、行ってきました。 JAWS-UG Meguro #0 (2015/05/22 19:00〜)connpass.com 私からは最近触り始めたAWS SDK for Goの紹介をしました。 AWS SDK for Go in #jawsmeguro from Kenta Suzuki www…

Arduinoをはじめよう、をやってみた

GWだし普段やってないことをやってみよう、ということでArduinoを触ってみた。Arduinoをはじめようという本と、それに合わさったキットをつかっている。*1 Arduinoをひとまず起動する LEDをつけてみる スイッチをon/offしてLEDをつけたり消したりしてみる Cd…

dummyデータをつくる

dummyデータつくるのになんかスクリプト書くかーといっていっつも使いまわしている気がしてきたのでとりあえず簡単なライブラリにしておいた。 suzuken/dummygithub.com 似たようなツールはいろいろあるけど、シンプルなのが欲しかった。もうちょっとまとま…

ローカル作業でのgitリポジトリ管理とコーディング環境の話

git

gitを改めてちゃんと使おうという人がまわりで増えてきたのでメモとして貼っておく。 現状の設定はこんな感じ。1年くらい変わってなかった。 https://github.com/suzuken/dotfiles/blob/cbf8e7168c96029d535d69f981337d23aacfa51c/gitconfig 特にaliasまわり…

React.jsをもくもくと触り始めた

とりあえず触ってみないとわからないのでもくもくとチュートリアルをなぞっていく。 A JavaScript library for building user interfaces | React https://facebook.github.io/react/ Starter Kit 0.13.1でさわる wget https://facebook.github.io/react/dow…

新社会人エンジニアに向けて

新卒一年目の時にやっておけばよかったこと、というネタ振りで社内日報に書いた。こっちにも貼っておく。 毎日コードを書こう。業務では様々な事情で打合せが増えたりして悶々とすることもある。良いコードを書けない人はコードを書いてる絶対量が少ない。コ…

複数hostについてlistenしているnet.httpサーバを立ち上げ、そして落とす

先ほどのメモに引き続き HTTP Serverの止め方 - すずけんメモsuzuken.hatenablog.jp 今度はこれを複数hostについてlistenしたい。これもテスト用に使いたかったもの。で、下のように書いてみた。 gist.github.com 10秒間は複数hostについてlistenさせている…

HTTP Serverの止め方

結合テストの際にHTTP Serverを立ち上げて、テストが終わったらListenをやめる、というのをやりたかったので調べた。下のようにしてStopさせてみた。 gist.github.com hydrogen18/stoppableListener · GitHub では StoppableListenerを実装していて、net.TCP…

age++

年齢が平成に追い付きました。 例年のやりとりです。 私も年齢が平成に追いつきました— suzuken (@suzu_v) 2015, 3月 26 http://www.amazon.co.jp/registry/wishlist/30VYSQHWD1K65

JAWS DAYS 2015で発表してきました

JAWS DAYS 2015でData Engineering at VOYAGE GROUPという題で発表してきました。運営の皆様、聴きに来てくださった皆様、どうもありがとうございました。 Data Engineering at VOYAGE GROUP #jawsdays from Kenta Suzuki 内容としては行動ターゲティング基…

JAWS DAYS 2015で発表します

JAWS DAYS 2015で弊社でのデータエンジニアリングについて発表します。3/22の11:10から発表予定です。 http://jawsdays2015.jaws-ug.jp/speaker/suzuki/

Windowsで外付けHDDに書いてもらったファイルをMacで読み込む必要があったので調べた

brew install ntfs-3g sudo mv /sbin/mount_ntfs /sbin/mount_ntfs.orig sudo ln -s /usr/local/Cellar/ntfs-3g/2014.2.15/sbin/mount_ntfs /sbin/mount_ntfs brew install osxfuse sudo /bin/cp -RfX /usr/local/opt/osxfuse/Library/Filesystems/osxfusefs…

年報 #vgadvent2014

気がつけばもうアドベントカレンダーの季節。今年も振り返りをしてみようと思う。 この記事はVOYAGE GROUP エンジニアブログ: Advent Calendar 2014の12/18分の記事です。 http://tech.voyagegroup.com/archives/7941760.html 去年も書いた振り返り記事: htt…

AWS re:Invent 2014 breakout session 2日目

二日目もKeynoteとsessionがありました。メモを残しておきます。 参加したセッション SPOT305 -- Event-Driven Computing on Change Logs in AWS BDT401 -- Big Data Orchestra - Harmony within Data Analysis Tools APP303 -- Lightning Fast Deploys with…

AWS re:Invent breakout session 1日目

re:Invent 2014 breakout session 1日目 個人的にメモっておきます。 Keynoteでは、AuroraがでたりConfigだったりCodeDeployだったりがでました。細かい機能の話は参照しておいて、所感中心で。 聴いたセッションは以下のとおり。 SDD406 -- Amazon EC2 Inst…

今年もAWS re:Inventに行ってきます&興味のあるセッション一覧メモ

aws

追記 2014/11/14: スライドがupされていたのでみつけたものを追加。出れてないセッションを中心に確認したい。 今年もAWS re:Inventに参加して来ます。去年いってみて、興味あるセッションを見きれなかったり、新サービスのセッションが急遽追加されたりして…

サービス改善とログデータ解析について発表してきました

『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。…

Fluentd UIが出たので触ってみた

fluent/fluentd-ui https://github.com/fluent/fluentd-ui Fluentd用のWeb UIが出たようです。試しに触ってみます。 インストール READMEのとおりですが、 $ gem install fluentd-ui $ fluentd-ui start Open http://localhost:9292/ by your browser defaul…

supervisorのcommandで$()を使いたいとき

今日初めてsupervisorの設定をした。まだあまり使い勝手がわかっていない。 supervisorでは環境変数の展開以外、マクロ的なことができない。bash -lcを使う。例えば以下のようにする。 [program:hoge] command=bash -lc '$(which hoge)/bin/fuga start'

splitしたwindowをもとのサイズに戻す

vim

外付けディスプレイにTerminalを持っていったとかでサイズが変わった場合、splitしたvimのwindowのサイズも変わってしまうことが多々ある。そういった場合に、また均等に各windowのサイズを戻したい、という場合。 How to refresh vim layout when split - S…

paneのresizeを見なおした

こんな感じでpaneのresizeをするようにした。 # resize pane bind -r C-h resize-pane -L 5 bind -r C-j resize-pane -D 5 bind -r C-k resize-pane -U 5 bind -r C-l resize-pane -R 5 https://github.com/suzuken/dotfiles/blob/master/tmux.conf#L135-L13…

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 を書きました

技評さんでログ解析のムック本を共著で執筆させていただきました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社…

EMRでHiveServer2を立ち上げてみた

背景 YARNのリソース設定周りが少しずつわかってきたので、ひとまずクライアントからはどんどんジョブを放り投げておく方針にしたい HiveServerで運用していたのだが、その過程でthriftの並列性がもっと欲しくなった HiveServer2をそろそろちゃんと使おうと…