いつもよくわからん仕事をしている人

自分は技術者派遣として働いています。 何度か常駐先は変わりましたが、たまたま大手IT企業の案件に当たり たまたまそこの案件に長くいることがありました。 やっぱり大手企業なので、派遣で来てる人が多くいろんな会社から来ているところでした。 そこでこ…

文字列数字をint型数値リストに変換

config に数値を書いておいて、その数値リストを使いたい場合があります。 そこで取得した文字列数字をsplitで分割しても、単なる「string」の数字のリストになってしまうんですよね。 でどうしよっかなと、俺の性能が良くない頭で考えてしまうと それぞれの…

「Learning YARN」を読んでみた

Learning Yarn 作者: Akhil Arora,Shrey Mehrotra 出版社/メーカー: Packt Publishing 発売日: 2015/08/28 メディア: ペーパーバック この商品を含むブログを見る 今回はYARN関連の本を読んでみました。 Hadoopとは直接関係ないんだけど、業務でちょこちょこ…

logging formatで定義に無いものを書く方法

以前のブログでlogging.propertyの書き方を書いていました。 suganoo.hatenablog.com ※logging.propertyだかlogging.confだか、どっちが適切な表現なのかはここでは置いておく。 logging.confを書いている時に、あれこんなことできないかなと悩みました。 ロ…

【globals()の使い方】文字列のクラス名からインスタンス生成する

こんな処理をするスクリプトを作っていました。 ログをダウンロードして ログパースして webサーバーにアップロード このログをパースする処理なんだけど、ダウンロード/アップロードは変わらない。 ログの種類がある程度決まってるから、実行する時にログパ…

「Hadoop Security」を読んで見た

Hadoop Security 作者: Ben Spivey,Joey Echeverria 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/16 メディア: ペーパーバック この商品を含むブログを見る もう一冊Hadoop関連の本を読んでみました。 Hadoopを運用した場合、たいていの場合…

やばい!PACKTで$10セールやってるぞ!英語できなくても買ってみろ!

www.packtpub.com たまたま PACKTのサイト見てたら、なんか$10セールをやってる。 こここ、これは!と思って、いくつかポチってしまいました。 まあ、あと数時間で終わってしまうようですけどね....。(2017/09/18 23:00現在) 自分はどちらかというと、PACKT…

「Hadoop Application Architectures」を読んでみた。

Hadoop Application Architectures 作者: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/20 メディア: ペーパーバック この商品を含むブログを見る Hadoopに関連する本ってそんなに販…

機械学習の仕事したい~って人ががんばったgithubがすごかった

github.com ↑これ 内容がすごい おれも勉強しよう

pythonでlistの重複を除くにはsetが便利

pythonにはrubyのようにuniq関数は無いようです。 リストの値をsetにして、再度リストにすると重複が除かれます。 なんで順番くずれるんだろうね。 リストで重複除く

JSONパースのTypeError: string indices must be integersでハマった

jsonパースのところで値を取得しようとしたら、TypeErrorとかのエラーが出た。なんだこりゃ、全然わかんねーと、かなりもがいてしまった。 SQSからもらうメッセージみてもぜんぜんjson形式として悪いところはなさそう。ダブルクオーテーションが悪いのか!?…

「Apache Spark入門 動かして学ぶ最新並列分散処理フレームワーク」を読んだ

Apache Spark入門 動かして学ぶ最新並列分散処理フレームワーク (NEXT ONE) 作者: 株式会社NTTデータ,猿田浩輔,土橋昌,吉田耕陽,佐々木徹,都築正宜,下垣徹 出版社/メーカー: 翔泳社 発売日: 2015/10/29 メディア: 大型本 この商品を含むブログを見る scalaを…

2か所にあるファイル存在を比較するにはsetが便利

2か所にファイルを保管してて、それらのファイルの存在確認をすることがあった。具体的に言うと、例えば Webサーバー上にあるファイルと、ローカルに保管したファイルが同じと仮定。 それが一致しないことがあるから、数が一致してるかを確認したい。 もしく…

pythonで空ファイルだけ作る

pythonで空ファイルだけを作る

ConfigParserでkeyの存在確認をする

configファイルでkeyの存在確認できないかなーと思ったので書いてみた ConfigParserでkeyの存在確認する

プログレスバー使い方

qiita見てたら、まさにこれ!使いたかったーって記事を見つけた。 参考サイトはここです qiita.com torina.top プログレスバー使い方

ConfigParser使い方

gist2f1dca13c04a846a7bc92ae42504d336

ArgumentParser使い方

ArgumentParserの使い方

Zoox 自動運転の会社

crunchbase見てたら気になった会社です。 https://www.crunchbase.com/organization/zoox#/entity 自動運転を目指した会社です。$250Mを調達したそうです。$250M えーとミリオンが100万だから、2億5000万ドルか日本円だと270億円くらいかな。すごい額を調達…

Dev Bootcampが閉鎖されてた。。。

devbootcamp.com Dev Bootcampを前に調べたことがあった。 短期間でRuby on railsやhtml, cssなどを教育して(だいたい3ヶ月前後) 有名企業に送り出す学校だ。 学校?たしか正式な認証とかはなかったはず。専門学校的な位置づけかな。 日本のtech camp、やt…

logging.propery のテンプレート

よく使うのでテンプレートをメモしておく logging propertyのフォーマット pythonならこれを import logging import logging.config logging.config.fileConfig(”(logging property path)”) self.logger = logging.getLogger("hogehogetool")

echoコマンドでカラー出力する方法

シェルスクリプトを書いていると、たいてい真っ白カラーで出力していまいます。処理がちゃんと終わればそれでいいから、別に表示する文字の色なんてどうでもいいやと思ってました。たまたま、カラーオプションを教えてくれたので備忘として書いておきます。 …

pythonのtips

wonderwall.hatenablog.com おもしろい記事を見つけた。 pythonのテクニック。メモしておこう。 元ネタはここらしい github.com

「MBAより簡単で英語より大切な決算を読む習慣」はエンジニアは読むべき

MBAより簡単で英語より大切な決算を読む習慣 作者: シバタナオキ 出版社/メーカー: 日経BP社 発売日: 2017/07/13 メディア: 単行本 この商品を含むブログを見る シバタナオキさんはカタカナで書いてあったので誰だかわからなかったけど 楽天で執行役員をやっ…

「Scalaファンクショナルデザイン....」はとってもよかった

Scalaファンクショナルデザイン ―関数型プログラミングの設計と理解 作者: 深井裕二 出版社/メーカー: 三恵社 発売日: 2015/05/29 メディア: 単行本(ソフトカバー) この商品を含むブログを見る レビューを見たとき、サンプルソースコードが多いということ…

Hadoop関連の本

業務でHadoopを使うことになったので関連本を読んだ。 Hadoop 第3版 作者: Tom White,Sky株式会社玉川竜司,兼田聖士 出版社/メーカー: オライリージャパン 発売日: 2013/07/26 メディア: 大型本 この商品を含むブログ (4件) を見る hadoop設定の細かい内容、…

「Code Complete」若い時に読んだ方がいい

CODE COMPLETE 第2版 上 完全なプログラミングを目指して 作者: スティーブマコネル,Steve McConnell,クイープ 出版社/メーカー: 日経BP社 発売日: 2005/03/26 メディア: 単行本 購入: 44人 クリック: 1,166回 この商品を含むブログ (288件) を見る プログラ…

「Java言語で学ぶデザインパターン入門」でオブジェクト指向の力がかなり付いた

増補改訂版Java言語で学ぶデザインパターン入門 作者: 結城浩 出版社/メーカー: ソフトバンククリエイティブ 発売日: 2004/06/19 メディア: 大型本 購入: 51人 クリック: 762回 この商品を含むブログ (399件) を見る もうこの本はマストリードだと思う。 後…

「パーフェクトPython」基礎力をつける

パーフェクトPython (PERFECT SERIES 5) 作者: Pythonサポーターズ,露木誠,ルイス・イアン,石本敦夫,小田切篤,保坂翔馬,大谷弘喜 出版社/メーカー: 技術評論社 発売日: 2013/03/05 メディア: 大型本 購入: 1人 クリック: 65回 この商品を含むブログ (30件) …

「現場で役立つシステム設計の原則」はめっちゃいい本だ!

現場で役立つシステム設計の原則 ~変更を楽で安全にするオブジェクト指向の実践技法 作者: 増田亨 出版社/メーカー: 技術評論社 発売日: 2017/07/05 メディア: 単行本(ソフトカバー) この商品を含むブログを見る これコメントが☆5も付いてるじゃないです…