【３分で流し読み】メダリオンアーキテクチャを理解する

こんばんは。今日はメダリオンアーキテクチャという言葉を初めて耳にしたのでちょっと調べてみました。

それではさっそく参ります。

メダリオンアーキテクチャとは

• データレイク・データウェアハウスの設計パターンとして最近注目されているアーキテクチャ
• 従来は生データ→加工済データの２層で設計されることが一般的であった
• メダリオンアーキテクチャではデータストアを論理的に整理するためにBronze, Silver, Goldの３層で設計する
• Bronzeは未加工の生データ、SilverはBronzeをクレンジング・整形したデータ、GoldはSilverをビジネスの分析の目的に応じて加工したデータ（データマート）
• データはBronze->Silver->Goldの順で加工されていく
• ユーザはGoldを直接利用する、またはSilverデータからビジネスの目的に応じたデータマートを作成することで、必要な分析を行うことができる

メダリオンアーキテクチャのメリット

• 従来、Bronzeからユーザ部門が独自のクレンジング、加工を行っていたころは、共通で必要なクレンジング処理などでも同じ処理の再発明が頻発していたが、Gold、またはSilverデータを活用することでこれを改善できる。
• 各データ層の用途の明確化と管理の分離（IT部門/ユーザ部門)が行えることで、データガバナンスにも好影響。データガバナンスと相性の良いアーキテクチャとされている。

メダリオンアーキテクチャの例

Azureアーキテクチャセンターでは、メダリオンアーキテクチャを取り入れた分析基盤の設計パターンがいくつか紹介されているので、良いアイデアが得られるかもしれません。

Azure Databricks を使用した最新の分析アーキテクチャ

https://docs.microsoft.com/ja-jp/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architecture

参考文献

以下の動画やサイトがめちゃめちゃ参考になりましたので是非ご覧ください。

https://it.impress.co.jp/articles/-/23019

https://databricks.com/jp/glossary/medallion-architecture

https://techcommunity.microsoft.com/t5/analytics-on-azure-blog/how-to-reduce-infrastructure-costs-by-up-to-80-with-azure/ba-p/1820280