すずけんメモ

技術メモです

emr

EMRでHiveServer2を立ち上げてみた

背景 YARNのリソース設定周りが少しずつわかってきたので、ひとまずクライアントからはどんどんジョブを放り投げておく方針にしたい HiveServerで運用していたのだが、その過程でthriftの並列性がもっと欲しくなった HiveServer2をそろそろちゃんと使おうと…

elastic-mapreduceクラスタにaliveで起動させておいてスムーズにsshする

例えばhiveクエリを走らせて、あとからshellで入って様子を見たいとき。 $ elastic-mapreduce --create --name hoge --num-instances 1 --instance-type m1.small --plain-output --alive --hive-script --arg s3://mybucket/hive/query/hoge.q --step-name …