packt セールやってる!今度は$5セールだぞ!

ここのところ原因不明の発熱でぼんやりしてました。 そんななかFacebookの広告でpacktの$5セールのお知らせが目に入りました。よーしブログに書こうかなーと思ってましたが発熱のため、やっと今書けるようになりました。www.packtpub.com前にも自分のブログ…

けっこう便利な trap コマンドなんて知らなかった

あんまりシェルスクリプトは好きじゃないんだけど インフラやってるとシェルスクリプトを書くことがある。その中で他人が書いたコマンドに trap というコマンドがあった。罠…??なんかおどろおどろしい感じがしたけど 調べてみると、なんとまあ便利なコマンド…

pythonでシェルを実行する方法

サーバーでのちょっとした処理をpythonで書くことがあるんだけど pythonからシェルを実行するのどうやるんだっけ? 毎回忘れてしまうので、メモしておく。 とりあえずの使い方 import subprocess cmd = "ls -l" subprocess.Popen(cmd, shell=True) subproces…

Cent OSにawslogs-agent 入れようとして苦労した話

EC2インスタンスからパカパカログを検知して cloudwatchに入れたいねという依頼があったのでやってみた。 苦労したところがあったのでメモ。pythonのバージョン差異でエラーが出る出ないがあるようだった。 でも調べることが目的じゃないので精査してない。…

pythonでユーザー名を取得する

ユーザー名の取得方法はいろいろあります。 下記のやり方があります。 ユーザー名の取得 そんで調べてたらgetpass.getuser()のソースを調べてる人がいて LOGNAME, USER, LNAME, USERNAME から値を取ってたんですねー なるほど qiita.com (Pythonに関連したこ…

pythonでホスト名を取得する。

ホスト名の取得方法はいくつかあるようです。 下記で簡単に取得できます。 ホスト名を取得 ホスト名はどこからとってるのかなと調べてたら こんなpythonの実行もあるのか! github.com python 実行する時に -c でスクリプトを実行できるんですね。 これは便…

いつもよくわからん仕事をしている人

自分は技術者派遣として働いています。 何度か常駐先は変わりましたが、たまたま大手IT企業の案件に当たり たまたまそこの案件に長くいることがありました。 やっぱり大手企業なので、派遣で来てる人が多くいろんな会社から来ているところでした。 そこでこ…

文字列数字をint型数値リストに変換

config に数値を書いておいて、その数値リストを使いたい場合があります。 そこで取得した文字列数字をsplitで分割しても、単なる「string」の数字のリストになってしまうんですよね。 でどうしよっかなと、俺の性能が良くない頭で考えてしまうと それぞれの…

「Learning YARN」を読んでみた

Learning Yarn 作者: Akhil Arora,Shrey Mehrotra 出版社/メーカー: Packt Publishing 発売日: 2015/08/28 メディア: ペーパーバック この商品を含むブログを見る 今回はYARN関連の本を読んでみました。 Hadoopとは直接関係ないんだけど、業務でちょこちょこ…

logging formatで定義に無いものを書く方法

以前のブログでlogging.propertyの書き方を書いていました。 suganoo.hatenablog.com ※logging.propertyだかlogging.confだか、どっちが適切な表現なのかはここでは置いておく。 logging.confを書いている時に、あれこんなことできないかなと悩みました。 ロ…

【globals()の使い方】文字列のクラス名からインスタンス生成する

こんな処理をするスクリプトを作っていました。 ログをダウンロードして ログパースして webサーバーにアップロード このログをパースする処理なんだけど、ダウンロード/アップロードは変わらない。 ログの種類がある程度決まってるから、実行する時にログパ…

「Hadoop Security」を読んで見た

Hadoop Security 作者: Ben Spivey,Joey Echeverria 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/16 メディア: ペーパーバック この商品を含むブログを見る もう一冊Hadoop関連の本を読んでみました。 Hadoopを運用した場合、たいていの場合…

やばい!PACKTで$10セールやってるぞ!英語できなくても買ってみろ!

www.packtpub.com たまたま PACKTのサイト見てたら、なんか$10セールをやってる。 こここ、これは!と思って、いくつかポチってしまいました。 まあ、あと数時間で終わってしまうようですけどね....。(2017/09/18 23:00現在) 自分はどちらかというと、PACKT…

「Hadoop Application Architectures」を読んでみた。

Hadoop Application Architectures 作者: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/20 メディア: ペーパーバック この商品を含むブログを見る Hadoopに関連する本ってそんなに販…

機械学習の仕事したい~って人ががんばったgithubがすごかった

github.com ↑これ 内容がすごい おれも勉強しよう