Morph

Rise of Data Workspace

データワークスペースの台頭

2024-08-28
柴田 直人
柴田 直人
共同創業者 CEO

データが企業の合理的な意思決定に欠かせないということは、言うまでもありません。

まだ私が10代のころ、はじめてエンジニアとして働き始めた当時は、ビジネス部門とエンジニアリング部門とのコラボレーションの中心には、ビジネスインテリジェンス (BI) ツールがありました。

グラフィカルなインターフェースを備えたBIツールを使うことで、ビジネス部門が自分たちでドリルダウンなどの分析を実施できます。私の仕事の一部は、BIツールのためのデータ準備やインフラの整備をすることでした。

エンジニア部門はデータ準備、ビジネス部門はBIツールを使った意思決定という分業体制が敷かれていたのです。

ツールのサイロ化がビジネスのサイロ化を招く

人類が生み出すデータの量は爆発的に増え続けています。

インターネットやモバイル普及も受けて、過去10年で世の中で生み出されるデータの量は約100倍になりました。現在では、Snowflakeに発行されるクエリの数は世界中のGoogle検索の数に匹敵すると言います。

Data Explosion in a decade

ビジネスで活用すべきデータ量が増加するにつれて、その分析手法も機械学習やAIの活用によって高度化していきました。

2010年代中盤、Pythonの普及も後押しして、このような複雑な分析を担うデータサイエンスチームを組織に設置するようになりました。彼らも当然、これまでと同じようにビジネス部門との連携が求められましたが、問題が起きます。データサイエンスチームの仕事は、これまで使用してきたBIツールでは行えなかったのです。

データサイエンスを行う主なツールは、ローカル開発環境で動作するPythonであり、それらはデータサイエンスを行うには最適なツールです。しかし、その経過や成果をビジネス部門と共有するには、追加のステップを踏む必要があります。

エンジニアが分析の途中経過を共有するには、ビジネス部門の人にデスクに直接来てもらうか、結果を画像ファイルなどに出力して共有する必要があります。

最終成果物をダッシュボードとして運用するには、そのプログラムを改めてダッシュボード用のアプリケーションコードベースに載せてデプロイする必要があります。

これらの追加のステップを排除する最もシンプルな方法は、ビジネス部門の人々がローカルマシン上でPythonを実行することですが、PythonをマシンにインストールしてGit管理されたコードベースを参照することは、ビジネス部門にとってはあまりにも複雑です。

より高度な分析を求められた結果、ツールの分断によりビジネスのサイロ化を引き起こしてしまい、円滑なコラボレーションを阻害してしまっています。

ビジネスにおけるコラボレーションハブとしてのデータワークスペース

円滑なビジネスコラボレーションの実現のためには、エンジニアとビジネス部門がそれぞれの専門性を十分に発揮することができる共同ワークスペースが必要になります。

そこで、SQLとPythonを共通言語にした共同作業空間としてデータワークスペースに注目が集まっています。NotionやFigmaのようにリアルタイムにコラボレーションができる、データのためのワークスペースです。

Data Workspace Experience

データワークスペースは、データ分析に関する煩雑なワークフローやコミュニケーションチャネルからチームを解放します。

データの可視化や自動化が1つのツールで完結するため、異なるツール間でのデータ移行や設定、環境構築に時間を費やす必要がありません。

さらに、分析結果を簡単に共有できるため、作業のスピードと効率が向上します。リンクを共有するだけで、関係者全員がリアルタイムで結果を確認でき、外部公開も可能です。

ダッシュボード構築の待ち時間、データ抽出依頼の大量のSlackとはお別れすることができます。

データワークスペースでは、SQLやPythonの分析ロジックを使い捨てずに、再利用可能な資産として管理できるため、長期的な視点でデータの価値を最大化できます。また、ビジネス部門でもデータを直接操作できる環境を整えることで、データマートの構築やデータの使い回しが容易になり、コラボレーションがより活性化します。

このようにデータワークスペースは、単なるデータ分析ツールを超えた「コラボレーションハブ」としての役割を果たします。結果として、エンジニアとビジネスチームの双方にとって価値のある資産を形成し、持続可能なデータ駆動型の意思決定が可能なります。

AIとビジネスコラボレーションの未来

生成AIの活用により、SQLやPythonを使用するハードルは劇的に下がりました。コード生成やコード説明を駆使することで、ExcelやBIツールを扱うのと同じくらい (多くの場合はそれ以上に) 簡単に複雑な分析を行うことができます。

データワークスペースの普及により、より多くの人がデータを中心にしたビジネスコラボレーションに関わるようになるでしょう。そして、AIのサポートによってビジネスプロフェッショナルたちが、複雑なデータ分析に参加することを可能にしてくれます。

さらに、複雑なデータ分析を自律的に支援するエージェント型AIの普及も予想されています。

専門性を持ったLLM / SLMやエンドツーエンドでタスクを実行するエージェントAIが、データ処理やインサイト抽出を自律的に行ない、よりリアルタイムに分析結果を取得できるようになります。実際にこのような体験を実現するプロトタイプも示されています。

このような未来では、ビジネス部門で活用するためのデータエンジニアリングやAI・自動化の設定などコラボレーションのあり方も変化していくと考えられています。

ビジネス上の仮説検証や意思決定には、もはや一行のコードも書く必要なく実施ができるようになるかもしれません。そのような未来では、今よりもずっと多くのビジネス成長のアイデアが議論され実行に移されていくことでしょう。

データワークスペース上でエンジニア、ビジネス部門そしてAIがコラボレーションする未来がすぐそこまできています。