【3分で流し読み】メダリオンアーキテクチャを理解する

こんばんは。今日はメダリオンアーキテクチャという言葉を初めて耳にしたのでちょっと調べてみました。

それではさっそく参ります。

メダリオンアーキテクチャとは

https://www.youtube.com/watch?v=HXFAtv4MLm8の図より引用させていただいています
  • データレイク・データウェアハウスの設計パターンとして最近注目されているアーキテクチャ
  • 従来は生データ→加工済データの2層で設計されることが一般的であった
  • メダリオンアーキテクチャではデータストアを論理的に整理するためにBronze, Silver, Goldの3層で設計する
  • Bronzeは未加工の生データ、SilverはBronzeをクレンジング・整形したデータ、GoldはSilverをビジネスの分析の目的に応じて加工したデータ(データマート)
  • データはBronze->Silver->Goldの順で加工されていく
  • ユーザはGoldを直接利用する、またはSilverデータからビジネスの目的に応じたデータマートを作成することで、必要な分析を行うことができる

メダリオンアーキテクチャのメリット

  • 従来、Bronzeからユーザ部門が独自のクレンジング、加工を行っていたころは、共通で必要なクレンジング処理などでも同じ処理の再発明が頻発していたが、Gold、またはSilverデータを活用することでこれを改善できる。
  • 各データ層の用途の明確化と管理の分離(IT部門/ユーザ部門)が行えることで、データガバナンスにも好影響。データガバナンスと相性の良いアーキテクチャとされている。

メダリオンアーキテクチャの例

Azureアーキテクチャセンターでは、メダリオンアーキテクチャを取り入れた分析基盤の設計パターンがいくつか紹介されているので、良いアイデアが得られるかもしれません。

Azure Databricks を使用した最新の分析アーキテクチャ

https://docs.microsoft.com/ja-jp/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architecture

Azure公式ドキュメントより

参考文献

以下の動画やサイトがめちゃめちゃ参考になりましたので是非ご覧ください。

https://it.impress.co.jp/articles/-/23019

https://databricks.com/jp/glossary/medallion-architecture

https://techcommunity.microsoft.com/t5/analytics-on-azure-blog/how-to-reduce-infrastructure-costs-by-up-to-80-with-azure/ba-p/1820280

この記事を気に入っていただけたらシェアをお願いします!

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

ABOUT US
Yuu113
初めまして。ゆうたろうと申します。 兵庫県出身、東京でシステムエンジニアをしております。現在は主にデータ分析、機械学習を活用してビジネスモデリングに取り組んでいます。 日々学んだことや経験したことを整理していきたいと思い、ブログを始めました。旅行、カメラ、IT技術、江戸文化が大好きですので、これらについても記事にしていきたいと思っています。