[Day 2: A-15] Architecture Evolution in Repro


yhirano55
yhirano55 commented 4 months

登壇者: 株式会社Repro 橋立 友宏

Reproではそれなりに大きなスケールのデータを日々受け取り、それらを用いてマーケティングを行うための柔軟なユーザーセグメンテーション機能を提供しています。

それらはReproのキーとなる機能であり、提供するのが大変な機能でもあります。

このトークでは、我々がどうやってRailsベースのアプリケーションでそれを実現したのか、そして我々のサービスの裏側にあるアーキテクチャの変遷について紹介します。(例えば、分散データベースやデータフォーマット、ETLやSQLの生成等について)


  • このセッションに関する質問を募集中です
  • 事前に聞きたいことがあれば、何でも書き込んでください。
  • 質問への回答はお約束できません。あらかじめご了承ください

Like(0)

Questions and feedbacks (10)

joker1007
joker1007 commented 4 months

もしアプリケーションがGCPで動いていたらBigQueryだけで粘っていましたか?

多分、そうはならなかった。 課金スタイルとのミスマッチや構造上、マルチテナントと合わない問題は割と大きい。

Like(0)

joker1007
joker1007 commented 4 months

ガンガン技術力で課題を解決していてすごいなと感じたのですが、新しい技術スタックを導入する際に、特に意識しているポイントがありますか?

動作の理屈とかはしっかり調べて、筋が通ってるかどうかと、その理屈が自分達の課題にマッチするかをある程度先の想定をしつつ考慮している感じです。

Like(1)

joker1007
joker1007 commented 4 months

Bigquery APIが一時間くらい落ちる時があるとのことでしたが、それはビジネス的に問題ないのでしょうか? それともBigquery APIが繋がらない時は別の集計方法を臨時でおこなってたりするのでしょうか?

今現時点では落ちてても大丈夫なところしか使ってないですね。

Like(1)

joker1007
joker1007 commented 4 months

Bigquery -> Presto-EMRに移行する際に、SQLの書き直しはどれくらい発生した感じでしょうか? まるっと書き直しが必要だったレベルなのか、多少書式変えた程度で何とかなったのか。 また、大幅に書き直しが必要になったのであれば、テストはどのようにやったかなど興味があります!

BQのStandardSQLで一回書き直していたので、そこからPrestoについてはそんなに弄らなくて行けました。 テストについては、人間が事前に想定できるケースを越えているので、実際のproductionデータの抽出結果を何パターンも取得して実行結果に差分が無いかを日々確認してます。

Like(1)

joker1007
joker1007 commented 4 months

アーキテクチャ変更の際にアーキテクチャ候補はいくつか出てくると思うのですが 「これで行ける!」感を得るまでの試行錯誤の中で一番重要視しているのは何でしょうか?

一番っていうがどれかは自分でも分からないですが、観点として見ているのは大体以下の要素です。

  • 要求が本当に実現できる
  • 要求を実現するのに過剰な工夫が必要無い
  • コスト感が妥当
  • 運用イメージが持てるかどうか
  • 監視が作れるかどうか

この辺りを総合的に判断してます。

Like(1)

colorbox
colorbox commented 4 months

アーキテクチャ変更の際にアーキテクチャ候補はいくつか出てくると思うのですが 「これで行ける!」感を得るまでの試行錯誤の中で一番重要視しているのは何でしょうか?

Like(0)

morimorihoge

Bigquery -> Presto-EMRに移行する際に、SQLの書き直しはどれくらい発生した感じでしょうか?
まるっと書き直しが必要だったレベルなのか、多少書式変えた程度で何とかなったのか。

また、大幅に書き直しが必要になったのであれば、テストはどのようにやったかなど興味があります!

Like(1)

hatappi
hatappi commented 4 months

Bigquery APIが一時間くらい落ちる時があるとのことでしたが、それはビジネス的に問題ないのでしょうか? それともBigquery APIが繋がらない時は別の集計方法を臨時でおこなってたりするのでしょうか?

Like(0)

geeknees
geeknees commented 4 months

ガンガン技術力で課題を解決していてすごいなと感じたのですが、新しい技術スタックを導入する際に、特に意識しているポイントがありますか?

Like(1)

asayamakk
asayamakk commented 4 months

もしアプリケーションがGCPで動いていたらBigQueryだけで粘っていましたか?

Like(0)

Create Comment

Please sign in to comment.

Sign in with GitHub
This software is available as open source under the terms of the MIT License.
Copyright © 2018 Yoshiyuki Hirano