PLAZMA Data Platform Day: TD Tech Talk 2018 行ってみた

イベントに申し込んでるのを当日思いだし行ってみた。

メモを書いておく。

PLAZMA Data Platform Day: TD Tech Talk 2018
techplay.jp

Infrastructure for autoscaling distributed system 佐々木 海 - Treasure Data, Inc.

  • トレジャーデータで使ってるプラットフォームなど、つらかったことなど解決したことなど
  • 主にAWS使ってる
  • PrestoとHiveを主に使ってる
  • メタデータをPlazmaDB 主データはS3に置く。
  • Hive 0.14
  • 全部で250兆くらいのレコード(だったと思う)
  • 1053trillion record/月 1兆件か
  • 14million query/月 1400万か
  • 20PB/月
  • プレストのワーカーのスケールの話
  • ワーカー増やして分散させると、クエリのタスクフラグメントやジョイン処理を分散できるので早い
  • S3のデータ読み込みもパーティションで分割して読み込めるので読み込みも早くなる
  • スケーリングするときにステートを残さないようにする。バージョンアップが難しくなるから。
  • クエリを失敗させずにスケールインが難しかった
  • amazonのコードデプロイでデプロイ
  • EC2インスタンスを自動で構築
  • デプロイ用のファイルをまとめておけばコードデプロイでやってくれる
  • グループごとconfigurationごとにデプロイが可能
  • クラスターの立ち上げ時間が短縮できた
  • lifecyclehook :クエリ実行中を判断して自動でインスタンス停止してくれる
  • Target tracking scailing policy:目的の使用率を達成するために自動で必要なインスタンスをオートスケールさせる
  • スケールアウトはすぐやるがスケールインは保守的なのでインスタンスは減りにくいことがわかった
  • 今後どんなクラウド環境でもオートスケールできるようにすることを目的としたい

2020年代に向けたDeNAの分析基盤 松木 秀憲 - DeNA

  • DeNAのAIシステム部
  • サービスを軸にサービスを改善しさらにAIの研究開発
  • 各部門にアナリストがいてその人のために分析基盤を提供してる
  • 分析基盤の今
  • 社内でログフォーマットを決めてETLしやすいようにする
  • システム構成
  • サービス(アプリケーションサーバー、DBスナップショット)→ログゲートウエイにログを集める
  • fluentdを使って集める
  • fluentd安定している 優れたツール
  • HadoopHDFSとして使ってる
  • 少しHive使ってる
  • サービスごとにログゲートウエイからインポートする
  • HadoopからEmbalkを使ってGoogleBigQueryかHPVerticaにインポート
  • いまはBigQueryへ移行中
  • Verticaは容量課金 1TBまでは定額、1.1TB使ったら2TB分の料金みたいな感じ
  • Embalkはプラグインが豊富で使いやすい
  • yamlで書くのでプログラミング的に使いやすい
  • BigQueryとVerticaに検索できるArugusを内製。自分たちの要望を細かく反映できるから
  • スケジューラ
  • jenkins たいていのことができてしまうので他に移りにくい
  • Digdagが魅力的
  • yamlで設定できる
  • こまかいタスク定義ができる
  • 並列処理が可能
  • でも権限管理がしづらい
  • 運用
  • 仕様者向け技術サポート
  • なんでも相談を受けるようにしてる
  • 相談はslackで受けることが多くなってきた
  • AI基盤の今
  • AWS/GCPを使ってる
  • GPUを使いたいときに使う
  • Infra as Codeを徹底
  • Terraform, itamaeを使う
  • プロジェクトが始まると一週間で基盤を提供してほしいとかある
  • 今後のAI基盤
  • クラウドネイティブ
  • サービスに合わせて分析基盤もクラウド
  • アナリスト向けには既存と同等のUXを提供
  • 分析基盤にとどまらない基盤
  • 便利なUXを提供
  • データ分析、AI、Kaggleなどあつかう多様なデータを対応する
  • より安全な権限分離
  • AWS/GCPアカウント など
  • Amazon sagemaker  jupyter が使える
  • マルチメディアデータを扱うAI基盤
  • 動画、静止画も扱う基盤を対応したいと思ってる

ヤフーにおけるHadoop Operations 安達 寛之 - Yahoo! JAPAN

  • 120PB にHadoop保管 4100ノード
  • マルチビッグデータドリブンカンパニーを目指す
  • Hortonworks 2.3 +Ambari 2.4
  • 主に使ってるのは1500ノード
  • HDFSは37PB 60TB/day
  • マルチテナント環境
  • 2,3万ジョブ/day
  • Hadoopチームの変遷
  • バージョンアップ自動化、運用ツールの自動化など →DevOpsの加速、ユーザーサポートの強化
  • Hadoop運用の自動化、クラスターバージョンアップの自動化してきた
  • これまで12人x10時間 で作業 利用者も使えない状況だった
  • ambari使って各ノードにコマンド実行
  • ansibleも使う
  • ansibleでまずMaster系をVerup
  • 並行してTool、clientとworkerをVerup
  • セキュリティ対応の自動化
  • 適切にデコミッションしてからセキュリティ対応してリコミッション
  • HiveもLBで使うノードを制限してセキュリティ対応
  • 不良ノード対応の自動化
  • 数百台数千台あるとよく壊れる
  • dmesg からハードウエアのエラーを検知してスコアリングして
  • 自動でサービスアウトさせる
  • 今後
  • データセンター建設中
  • ErasureCodingに期待
  • NameNodeの負荷対策
  • HDFS Federationに期待
  • Infra as Code できてないところがあるので対応する
  • 個別変更をしない。自動化が大変になる

リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方 山田 雄- リクルートライフスタイル

www.slideshare.net

  • カスタマーセントリックで基盤を作る
  • collect システムが人に合わせる
  • ユーザーアンケートをするなどして使う側の気持ちにを理解する
  • 基盤を使う立場になる、データを使うチームと同じグループになる
  • confirm
  • ユーザー自身も気づいていない本音を探りあてる
  • 対応時間でレベル分けする。なぜその要望をあげたのかwhyを考える。
  • create
  • 売り上げを上げないと予算がつかない
  • 運用コストを下げる
  • 障害が起きた時にべきとうせいを確保
  • なるべくクラウド使う
  • ユーザーが使いやすいIFを用意
  • ユーザー教育のための動画コンテンツを用意
  • check
  • 効果の検証
  • KPIを設計する
  • ユーザーアカウント数、レスポンス時間、bot使用回数など
  • continue
  • 進化ができる基盤
  • DataLake構成 S3でやってる
  • いいサービスがでてきたときに柔軟に対応できるようにする
  • 透明性が大事
  • ただしい情報が整理されててわかりやすくする
  • 分析基盤の構成
  • BigQueryやOracleなど
  • SPSS、Tableuなどで分析
  • Oracle ExaData ホットペッパーなど
  • Redshift 事業データ web行動ログなど
  • Redshift Spectrumを活用
  • BigQueryへもデータ流してる
  • TrasureDataも使ってる
  • テーブル数 4000
  • クエリ数 2万/day

懇親会など

  • リクルートライフスタイル山田さん
    • データ全部クラウド化とか考えてたらすごくお金かかりませんか?
    • リクルート一括で契約している枠があるのでそうでもないかも
  • Yahoo 安達さん
    • セキュリティでkerberos使ってます?どうやって導入しました?
    • →自分が入ってきたときにはすでにkerberos入ってた。

感想など

  • Big data のプラットフォームの運用の話はだいたい成熟してきた感がある。
  • S3にいれてRedshiftやAthenaでどうにかするとか、オンプレで頑張るとか。
  • オンプレは中身のセキュリティ上クラウドに入れられないとかあるみたい。
  • Hadoopのバージョンアップはやっぱどこも大変らしい。そうだよね、あんなでかいデータサーバーをスタンバイでもってるなんて無理だろう。
  • YahooはHorton使ってるそう。しまったなあ、MapR, cloudera とか何使ってるか聞いておけばよかった。
  • DeNAリクルートライフスタイルのアナリストとのやり取りは、あーやっぱ分析者として使う側を考えてUXの向上を考えないとなーと思った。
  • リクルートライフスタイル山田さん
    • こんなことありませんか?
    • 分析T「機械学習、データ分析で改善して賞金xx得ました!」
    • →基盤T「それ分析基盤があってのことやろ…」
    • あるあるすぎて、笑ってしまったwwwwわかりみが深い!
  • 無料のコーヒーがスタバだった。TresureDataお金もってるなーと思った。
  • あんまスタバのコーヒーはおいしいと思えないが。。
  • 懇親会で講演者の方に話しかけやすかったのはラッキー
  • 懇親会 軽食だったけどうまい!
    • 注意事項に【飲食のみを目的としたご応募・ご来場はご遠慮ください】
    • わかったwww

KIRKLAND (カークランド) シグネチャー スターバックス ロースト ハウスブレンドコーヒー 907g

KIRKLAND (カークランド) シグネチャー スターバックス ロースト ハウスブレンドコーヒー 907g