たそらぼ

日頃思ったこととかメモとか。

データメッシュに向けての勉強

今年はデータメッシュアーキテクチャの活用に向けての勉強や検証をしていきたいなと思っています。

データメッシュアーキテクチャは、Thoughtworks社のホームページで紹介されているような原則のもと、AWSはじめ多くのクラウドベンダーがそれを念頭に置いたサービスを出し始めています。

www.thoughtworks.com

dev.classmethod.jp


re:Invent2022に実際行ってみたところ、アナリティクス系のセッションは少なくとも自分が参加したものはほとんどデータメッシュか、データメッシュに関連した前提を伴ったもののように感じたので、データメッシュで使うような考え方や用語を理解しておかないとこれから出てくるサービスだったり活用は理解が甘くなってしまうだろうなーと思いました。

もちろんデータメッシュアーキテクチャが本当に適しているかはケースバイケースだとは思うものの、中央集権型のアーキテクチャしか選択肢にないよりは手札が多い方がいいし、中央集権型を取るにしてもそのアーキテクチャのメリットデメリットが比較することでより分かるので、視野を広く柔軟に捉えることができるはずです。

Thoughtworks社はメンバーがマイクロサービスを提唱した会社でもあり、データメッシュアーキテクチャの考え方も、それに関連性の高いドメイン駆動設計の考え方や言葉がよく使われています。

www.oreilly.co.jp

私は今までマイクロサービスやドメイン駆動設計は気になってはいたものの、まだ勉強はできてないので（エリック・エヴァンスのドメイン駆動設計は持ってるけどずっと積読してた）、遅ればせながらいよいよ準備する時がきたなーと思い、今年はしっかり理解していければなと思っています。

本を読めばいいという訳ではないけれど、インプットは大切なので、とりあえず以下は読んでみたいなと思っています。

データメッシュを採用することで、一般的には中央集権型の時と比べて、中央データレイク・データウェアハウスを担当するデータエンジニアなどの負担やそれに起因するボトルネックを緩和することができ、全体としてデータ活用のアジリティが向上するといわれています。実際のところ、今度はデータエンジニアは各ドメインのデータ製品開発を支援するためのツールを頑張って作り、自分たちでデータを活用できるように支援する必要があるし、非エンジニアも巻き込んでデータを活用していかないといけないので、これはこれで大変なこともあると思うけれど、実現するならみんなでより良いデータ活用ができる方向に向かっていると思うので、頑張ってやっていきたいなーと考えています。