[Day 4: A-2] ZOZOTOWNのバッチデータ転送基盤の紹介


yhirano55
yhirano55 commented 8 months

登壇者: 株式会社ZOZOテクノロジーズ 塩崎 健弘

ZOZOTOWNが保有する大量のユーザーデータ、購買データなどをDWHであるBigQueryに転送するためのバッチ基盤の紹介をします。

ワークフローエンジンDigdag上でのグルー言語としてRubyを採用し、ビジネスロジックは柔軟なRubyで書きながらも、DigdagやEmbulkが持つパワーを活用し効率的にデータ転送を行っています。

Ruby on Railsに飽きて他の分野にも挑戦したくなったそこのあなた! データ基盤エンジニアの世界も面白いですよ!!

https://techplay.jp/event/702297


  • このセッションに関する質問を募集中です
  • 事前に聞きたいことがあれば、何でも書き込んでください。
  • 質問への回答はお約束できません。あらかじめご了承ください

Like(1)

Questions and feedbacks (2)

unasuke
unasuke commented 8 months

データマート集計の依存関係自体をdigdagで解決できないのは何故でしょう?

Like(1)

unasuke
unasuke commented 8 months

digdag自体はDockerizeされていたりするのでしょうか?

Like(0)

Create Comment

Please sign in to comment.

Sign in with GitHub
This software is available as open source under the terms of the MIT License.
Copyright © 2018 Yoshiyuki Hirano