すずけんメモ

技術メモです

re:InventでのLogglyの分散ストリーム処理環境に関するセッションが面白かったのでまとめておく

aws

さきほど帰国。parse.comのメモに引き続き、re:InventでのLogglyのセッションについてもまとめておく。 【追記 2013/11/20 9:20】スライドがupされていたので貼っておきます。 要約すると、 お客さんから大量に送られてくるログをリアルタイムに捌くためのシ…

re:InventでのParseのDevOps話がとても良かったのでまとめておく

今、AWS re:Inventにきていて、今日parse.comのセッションを聴く時間があったので簡単にまとめておく。とてもざっくり書くと、要点は parseは1-3段階のDevOpsの進化を経てきた 最初はRoRでデプロイするにも全てのサーバでcapistorano走らせなければ行けなか…

elastic-mapreduceクラスタにaliveで起動させておいてスムーズにsshする

例えばhiveクエリを走らせて、あとからshellで入って様子を見たいとき。 $ elastic-mapreduce --create --name hoge --num-instances 1 --instance-type m1.small --plain-output --alive --hive-script --arg s3://mybucket/hive/query/hoge.q --step-name …

remoteリポジトリで削除されているブランチが手元に残っている場合に、ローカルのブランチをまとめて消す方法

git

remoteリポジトリで削除されてしまっているブランチを消したい場合がある。以下の様な状態のときだ。 -> % git remote show origin * remote origin Fetch URL: git@github.com:suzuken/hoge.git Push URL: git@github.com:suzuken/hoge.git HEAD branch: ma…

awscliを利用したauto-scalingグループの縮退

autoscalingグループ周りの制御をいつも忘れるのでメモっておく。 環境 awsコマンドで。 https://github.com/aws/aws-cli $ aws --version aws-cli/0.12.0 Python/2.6.6 Linux/2.6.32-131.17.1.el6.x86_64 autoscalingグループ取得 $ aws autoscaling descri…

RequestPolicyを使い始めた

第三者ドメインへのリクエストというのにいつからか敏感になり始めたのだけれど、許可していない第三者ドメインへのリクエストを遮断できるプラグインがあったのでいれてみた。 Firefox addon for privacy and security - RequestPolicy by Justin Samuel ht…

GitHub上のリポジトリからpipでインストール

$ pip install -e git+https://github.com/s3tools/s3cmd.git#egg=s3cmd これでよい。 -eはeditableオプション。#egg=の指定が必要。

Jenkinsを再インストールしたらビルドパイプラインが壊れた件

stackoverflowにも同じ現象の人がいた。 Jenkins build pipeline view shows error after reinstallation - Stack Overflow http://stackoverflow.com/questions/17405865/jenkins-build-pipeline-view-shows-error-after-reinstallation The error I get is:…

Herokuのruby-sampleを試す

なんとなく「Herokuさわってみるかなぁ」というテンションになったので、ひとまずHello Worldまでやってみた。 http://heroku.com 環境はOSX Mountain Lion。 まずherokuコマンドを使えるようにする。 -> % brew install heroku-toolbelt ==> Downloading ht…

lazyによる遅延評価

-> % scala Welcome to Scala version 2.10.2 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25). Type in expressions to have them evaluated. Type :help for more information. scala> lazy val hoge = {println("hogehoge"); "I'm hoge."} hoge: Str…

OSXで特定portをLISTENしているプロセスを調べる

OSX

よく忘れる。 % lsof -i :8083 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 39007 ke-suzuki 53u IPv6 0x5f8cabffbfa7d843 0t0 TCP *:us-srv (LISTEN)

JavaのHogeClass.classはscalaでclassOf[HogeClass]

scala> class C defined class C scala> classOf[C] res7: Class[C] = class C scala> val c = new C c: C = C@26d03842 scala> c.getClass res8: Class[_

sbtでJettyを立ち上げる

sbtでJettyを動かしたのでメモ。Jetty自体もMavenではなくsbtでいれるようにする。以下のプラグインを使う。 JamesEarlDouglas/xsbt-web-plugin https://github.com/JamesEarlDouglas/xsbt-web-plugin このプラグインを利用したサンプルアプリケーションがあ…

sbtでIntelliJ IDEA用の設定をする

IntelliJ IDEAでscala書く際にsbtでどう設定すればいいか調べた。 sbt-ideaプラグインをいれよう mpeltonen/sbt-idea https://github.com/mpeltonen/sbt-idea これをいれればよい。README.mdにも書いてあるとおり、project/plugins.sbtに以下の内容で書いて…

sbtについて調べた

scalaを書くにあたってsbtを使う必要があったのでまとめておく。公式ドキュメントは以下にある。 Contents sbt Documentation http://www.scala-sbt.org/release/docs/index.html 公式ドキュメントをみつつ、sbtのセットアップ方法をまとめておく。環境は以…

scalaファイルをコンパイルして、javapコマンドで確認

こんな感じでscalaコードを書く。 object App { def main(args: Array[String]) { println("hello") } } コンパイルはscalac $ ls App.scala $ scala App.scala $ ls App$.class App.class App.scala javapコマンドでclassファイルを解析する。 $ javap App$…

ListBufferには+=:で末尾に要素追加

+=:で末尾に要素を追加できる。 scala> import scala.collection.mutable.ListBuffer import scala.collection.mutable.ListBuffer scala> val buf = new ListBuffer[Int] buf: scala.collection.mutable.ListBuffer[Int] = ListBuffer() scala> buf += 1 re…

Scalaっぽいリスト連結の実装:::

def append[T](xs: List[T], ys: List[T]): List[T] = xs match { case List() => ys case x :: xs1 => x :: append(xs1, xs) } パターンマッチ使って再帰使うと、とてもScalaっぽい。

golangとPackerをソースからインストール

ついでにpackerもいれておく。 mitchellh/packer https://github.com/mitchellh/packer goがはいってないので、ひとまずhomebrewでいれる。 $ brew install go ==> Downloading https://go.googlecode.com/files/go1.1.src.tar.gz #########################…

OSX Mountain Lionでvagrantを使うまで。

自宅用PCにVagrant環境がなかったので作っておく。 環境 $ uname -a Darwin user.local 12.4.0 Darwin Kernel Version 12.4.0: Wed May 1 17:57:12 PDT 2013; root:xnu-2050.24.15~1/RELEASE_X86_64 x86_64 ひとまずVirtualBoxをインストール Oracle VM Virt…

crontabの%は終端文字

はまった。 * * * * * wc -l `date --date "1 days ago" +%Y%m%d`.log >> logcount.log /bin/sh: -c: line 0: unexpected EOF while looking for matching ``' /bin/sh: -c: line 1: syntax error: unexpected end of file crontabだと%はコマンドの終わりと…

Vagrant meetupを聴いてきた

今日はVagrant meetup。弊社会場ということで、会場担当。 Vagrant meetup 〜作者 Hashimoto氏の来日講演〜 - Chef Meetup | Doorkeeper http://chef-meetup.doorkeeper.jp/events/4624 普段と違って有料のイベントだったので集金周りであたふたしてしまった…

php5.4環境でXDebugをOSX Mountain Lionにセットアップ。

sourceからいれてもいいんだけど、結局面倒になってhomebrewでいれた。 xdebug/xdebug https://github.com/xdebug/xdebug homebrewで入れる場合。僕の環境はphp 5.4なので、 brew install php54-debug 確認。 $ php -m | grep Xdebug Xdebug iniの設置状況は…

別JenkinsからJob設定をインポート

Job Import Pluginを使うと楽。 Job Import Plugin - Jenkins - Jenkins Wiki https://wiki.jenkins-ci.org/display/JENKINS/Job+Import+Plugin だと思ったら今つかっているJenkinsが若干特殊な環境に置かれていて、単純なhttp(s)でqueryできない。認証かけ…

JenkinsにCLIからアクセスする

Jenkins CLI - Jenkins - Jenkins Wiki https://wiki.jenkins-ci.org/display/JENKINS/Jenkins+CLI jenkins.jarを取得してくればよい。localからでも鍵設定すれば叩ける。便利。

社内アドテク輪講の資料をアップしました。SIGKDD2009より。

ad

最近社内でアドテクノロジー関連の論文を読むということをしています。先週で5本目でした。せっかく資料を作ったのでアップしてみました。(かなりざっくりまとめています&TeXで数式打つ手間を省くために画像を切り貼りしており、見やすくはないです。) we…

なんとなく思いついたのでCoffeeScriptで遊んでみることにします。 CoffeeScript http://coffeescript.org/ まずはインストール。npmを利用。 $ npm install -g coffee-script /usr/local/bin/coffee -> /usr/local/lib/node_modules/coffee-script/bin/coff…

TDB + JosekiでSPARQL endpoint構築

今日はTDBとJosekiでSPARQLのエンドポイントを構築していた。 TDB - Jena Wikihttp://openjena.org/wiki/TDB Joseki - A SPARQL Server for Jenahttp://www.joseki.org/ TDBはJena FrameworkというJava製のSemantic Web Applicationのためのツール群に含まれ…

MVC Application Architecture - Sencha Docs - Ext JS 4.0を写経した

以下のサンプルアプリケーションを参考に、写経した。 MVC Application Architecture - Sencha Docs - Ext JS 4.0http://docs.sencha.com/ext-js/4-0/#!/guide/application_architecture 日本語コメント付き。 suzuken/extjs-4-sample-application-w-comment…

Getting Started with Ext JS 4.0を実際に試してみた

久々に触ってみたら3->4でかなり変更点があるので、メモしておく。まずは以下のチュートリアルを確認する。 Getting Started with Ext JS 4.0http://www.sencha.com/learn/getting-started-with-ext-js-4/ ちなみに開発環境は、Ubuntu 11.10 + Apache 2.2.20…