Data + AI Summit 2025 イベントレポート～Databricksが拓くレイクハウスのその先とは～

Databricks社は、ビッグデータ処理のための分散処理フレームワーク「Apache Spark」の開発者たちによって2013年に設立された、アメリカのテクノロジー企業です。「すべての人にデータインテリジェンスを」というビジョンのもと、同社の名前を冠した「Databricks」というレイクハウスソリューションを提供しています。

レイクハウスとは、簡単に言うと、1つのプラットフォームでデータとAIに関するあらゆるユースケースを実現できる技術です。レイクハウスは、その誕生以前から使われている「データレイク」と「データウェアハウス」を統合した次世代のデータ基盤モデルとして注目が高まっています（※）。

※レイクハウスとは、およびデータレイクとデータウェアハウスの関係性については、記事末尾の（参考）をご覧ください。

レイクハウスおよびDatabricksの代表的なユースケースとしては、以下のようなものがあります。

Databricks社は、レイクハウス構想のリーディングカンパニーとして、企業のあらゆるユースケースに対応できる統合分析基盤を展開しています。特に、データ活用を一部の専門家のものだけにせず、業務担当者や意思決定者がデータとAIを使いこなすという思想が、世界中のユーザーに評価されている所以です。

Databrickについての詳細は、DL資料をご覧ください

Data + AI Summitは、Databricks社が主催する、世界最大級のデータとAIに関するカンファレンスです。

「Data + AI Summit 2025」は、2025年6月9日（月）から12日（木）までの4日間、アメリカ・サンフランシスコのモスコーンセンターで開催されました。今年のテーマは「Data Intelligence for All」。誰もがデータを活用して意思決定・課題解決ができる世界を目指すという理念のもと、データとAIの最新トレンド、技術、ベストプラクティスに関する700以上のセッション、ハンズオントレーニング、およびネットワーキングの機会が提供されました。現地には22,000人以上が参加し、180以上の企業が出展。日本からも約280人が現地入りしており、国内での影響度の高まりも感じました。

実は本イベントの1週間前には、データウェアハウス領域で競合するSnowflake社が同じ会場でイベントを実施しており、両社による世界へ向けたアピール合戦が行われています。

サミットの一日は朝食会場から始まります。

なんと朝6時には朝食が準備されており、早い時間にも関わらず多くの人が続々と集まってきます。日によって異なるメニューが振る舞われるので、かく言う筆者も思わず毎日通ってしまいました。気温は10度前半と寒い中ですが、参加者同士が談笑しながらサミットへ向けて動き始めます。

ここからは、大注目のKeynote（基調講演）の様子と内容についてお届けします。

会場の様子

基調講演は11日、12日と2回に分けて行われました。
会場はモスコーンセンターの地下に用意されており、6,000人以上が収まるほどの大きな規模です。

基調講演開始前の地下会場

7時の開場後、30分もせずに満席となるほどの大盛況でした。始まってからも、講演と言うよりは参加型のトークライブのような雰囲気で、新サービスが発表されるごとに会場全体が大きく盛り上がっていました。

基調講演終わりの様子

Keynote（基調講演）のトピックス

基調講演では、Databricks社の共同経営者兼CEO アリ・ゴディシ氏がMCを務め、イベントのテーマ「Data Intelligence for all」に沿ったデータとAI活用の民主化を推進する方向性と、Databricksの11の最新機能およびサービスが発表されました。ここからは、特に印象深かった3つの機能を中心に、基調講演のトピックスをご紹介します。

Agent Bricks：AIアプリの開発から性能改善を効率化

基調講演初日の冒頭で発表された「Agent Bricks」は、AIアプリケーションの構築・最適化・評価・運用を簡単に行える新しい仕組みです。ユーザーはまずユースケースを選択し、自然言語で「こういうアプリを作りたい」と指示するだけで、AIアプリを簡単に構築・デプロイできます。作った後もAIモデルの性能を継続的に監視できるので、改善サイクルを効率的に回すことが可能になります。AIアプリの開発から運用をサポートするAgent Bricksは、AIを活用する企業にとって、開発スピードと投資対効果を最大化するための強力な武器となりそうです。

Agent Bricksで用意されているユースケース

（出典:DAIS 2025 Japan Closing Session）

Lakeflow Designer：ノーコードでETLパイプラインを構築

「Lakeflow Designer」は、データエンジニアリングの民主化を推し進めるためのETLパイプライン構築ツールです。特筆すべきはその完全なノーコードインターフェースであり、プログラミングの知識がないユーザーでも、直感的な操作で、データの構造を意識せずに加工・変換・結合を簡単に行えます。

自然言語でデータパイプラインの作成指示をしている様子

裏側ではDatabricksの強力なエンジンであるSpark（※）の宣言型パイプラインが稼働しており、 エンタープライズレベルのスケーラビリティとパフォーマンスが提供されます。これにより、データアナリストやビジネスユーザーなど、エンジニア以外のより多くのユーザーがデータエンジニアリングの恩恵を受けられるようになります。

※Sparkの主な特徴は、処理速度を高めるインメモリエンジンです。複数の並列処理中にメモリにデータをキャッシュするため、動作が非常に高速です。Lakeflow Designerは、ノーコードの操作性と、Sparkによる処理性能を両立していることで、非エンジニアでも安心して大規模データを扱えます。

Lakebase：分離型アーキテクチャによる新しいデータベース

「Lakebase」は、コンピューティングとストレージの分離を基盤としたデータベース構築のコンセプトです。それぞれを独立して拡張・管理することで、 コスト効率とパフォーマンスの柔軟性が大幅に向上します。アイドル時のコストが削減できるうえ、データ量の増加に対してストレージのみをスケールさせたり、高負荷時にはコンピューティングリソースを一時的に増強したりといった運用が可能になります。

月次レポート生成、日次データ集計バッチ、社内ツール、アーカイブデータの参照など、特定の時間に集中して実行されるものや、逆にほとんどアクセスされない期間があるようなワークロードに効果的なサービスとなります。Lakebaseは、大量のトランザクションデータを扱う現代のアプリケーションにとって、より効率的で信頼性の高い基盤になると考えられます。

その他の新機能・サービス

基調講演で発表された、その他の主な新機能・サービスを簡単に紹介します 。

Databricks App

AIによってWebアプリをシンプルに素早く構築できる機能です。ユーザーの技術レベルを問わず、ノーコード・ローコードで素早くアプリ構築ができます。利用者がエンジニアに開発を依頼するのではなく、自身で構築に取り組めることで、認識の齟齬がなく望む形のアプリへとつながる一助となります。

Unity Catalog Metrics

Databricksのデータガバナンス機能「Unity Catalog」に新たに追加された、KPI（重要業績指標）管理のための機能です。全てのチームとワークロードに対して、共通のKPIを一貫して管理します。売上や顧客数などの定義を統一し、事業部門間の整合性を取ることで、正確で比較可能なインサイトを得られます。

Databricks One

これまでのDatabricks は、主にデータエンジニアやデータサイエンティスト向けの専門的なツールとして使われてきました。しかし「Databricks One」は、ビジネスユーザーにも直感的で、誰もが⾃信を持って使える新しい体験を提供します。「売上の推移を教えて」「この商品の需要予測は？」といった会話形式でデータにアクセスできるうえ、シンプルで迷わないUIによって簡単に操作できます。さらに、Power BIやTableauなどの外部ツールからDatabricksのデータに直接接続も可能となっており、ビジネスユーザーのDatabricks利用を大きく推進します。

Lake bridge

既存のデータベースやデータウェアハウスから、Databricksのレイクハウス環境へスムーズに移行するためのツールキットです。もともとDatabricksへの移行ツールとして存在していた「Remorph」と「BladeBridge」が統合されて誕生しました。リレーショナルデータベースやデータウェアハウスで使われているSQLをDatabricks環境に合わせて簡単に変換・移行できるため、移行対象や対応範囲が広がり、より包括的な利用へと繋がります。

今回の基調講演では、Databricksの革新的な新機能やサービスが多角的に発表され、多様なユーザー層や現場課題に応じた幅広い進化が印象的でした。これらの新機能は、データ活用の可能性を広げ、組織内の様々な部門や人材がより柔軟に、確かなデータ・インサイトを手にできる未来を示唆しています。

Databrickについての詳細は、DL資料をご覧ください

今回のサミットでは、複数の日本企業がDatabricksを活用した取り組みを発表しました。ここでは、自動車会社・電子機器メーカー・メガバンクの3社の事例をご紹介します。

【自動車会社】コネクテッドカーのデータ活用とプライバシー保護を両立する取り組み

大手自動車メーカーより、コネクテッドカーのデータ活用において、プライバシー保護とガバナンス（管理体制）をどう両立させるかの取り組みが紹介されました。

導入前の課題（Before）

1. データがバラバラ：アプリごとにデータが分かれサイロ化
2. 複雑なプライバシー対応：国や地域ごとに異なる規制に対応するのが大変
3. 高コスト：既存システム（ビッグデータ分析ツール）ではアーキテクチャが複雑で、運用負荷もコストも大きかった

Databricksの導入効果（After）

1．ガバナンス強化と規制対応

1. Unity Catalogによって、ユーザー単位での制御や証跡の取得が可能となり、誰がどのデータにアクセスできるかを細かく管理できるようになった
2. 国や地域ごとに異なる規制に対して、データの加工や制限を自動化

2．パフォーマンスとコストの最適化

1. データの保存方法や処理方法を最適化 し、分析スピードを向上
2. 「Liquid Clustering」によるスケーリング機能により、必要なときだけリソースを使う柔軟な運用が可能に
3. 一部の処理では既存システムと比較して90%以上のコスト削減を実現

3．リアルタイムなデータ活用

1. 渋滞情報や道路状態などをリアルタイムで収集・分析
2. 危険な場所の特定や交通情報の即時提供など、安全性や利便性の向上にも繋げている

【電子機器メーカー】需要予測の自動化

電子機器のアクセサリー事業において、需要予測と販売計画の自動化を目的にDatabricksを導入しました。その結果、担当者の作業負荷が大幅に軽減され、予測精度の向上、および業務全体の効率化が実現されました。

導入前の課題（Before）

1. 手作業が多い：毎月30時間以上を需要予測に費やす
2. 予測精度が不安定：多様なアクセサリーを扱う中、低需要品の予測が難しく、在庫過剰に繋がるケースも
3. システムのカバー範囲が狭い：従来の予測システムでは約76%のSKU（Stock Keeping Unit：商品識別コード）しか対応しておらず、残りは手作業で処理

Databricksの導入効果（After)

1．作業時間の大幅削減

1. 月間30時間以上かかっていた予測業務が、わずか3〜4時間に短縮
2. 全アクセサリーの99%がシステムでカバーされ、手動での予測作業がほぼ不要に

2. 予測精度の向上

1. 手動予測と比較して、大きな間違いが減少
2. 特に販売量の少ない商品に対しても、安定した予測が可能に

3. システムの信頼性と拡張性

1. Databricksの各種機能（Unity Catalog、Spark、Delta Lake、MLflow、Databricks Workflows）を活用し、堅牢でスケーラブルなシステムを構築
2. MLOps（機械学習の運用管理）の概念を取り入れ、AIモデルの開発からデプロイメントまでを自動化。継続的なパフォーマンス監視も実現

【メガバンク】生成AIを活用した最新ガバナンス型データプラットフォーム

大手メガバンクでは、Databricksの生成AI機能を活用し、ガバナンスの取れたデータプラットフォームを構築しています。

導入前の課題（Before）

1. 古いシステム：古いITシステムやインフラが業務効率を低下
2. データの分散：データが部署ごとに分散しており一貫性が無い
3. 手作業が多い：データ処理に多くの時間と手間がかかる

Databricksの導入効果（After）

1．最新のデータ基盤を構築

1. レイクハウスアーキテクチャでデータを一元的に管理
2. Unity Catalogでアクセス制御や監視を強化し、ガバナンスも徹底

2．AI・生成AIによる自動化と高度分析

1. データ処理を自動化し、ビジネス予測の精度を向上
2. 顧客サービスの改善や新たな収益源を新サービス開発への活用も

ここまでの事例からも分かる通り、レイクハウスによるデータとAIの活用は企業競争力の源泉となっています。SCSKではこの流れに対応するため、Databricksの取り扱いを開始するとともに、2025年6月に「NebulaShift di」をリリースしました。

NebulaShift diは、クラウドネイティブに基づくお客様の環境に合わせた柔軟なデータ統合により、データドリブンな意思決定を支援するサービスです。企業内外に散在するデータやアプリケーションをつなぎ、データ分析や機械学習・生成AI（LLM）活用までを一気通貫で実現します。

このNebulaShift diの中核を担うのが、Databricksのレイクハウス基盤です。Databricks単体でのご利用から、ETL・BI・AI活用を含めた一体のオファリング提案もお任せください。

Data + AI Summit 2025を通して、世界中でデータとAI利用のスピードが加速している現実を強く感じました。特に印象的だったのは、「データ・AIの民主化」というキーワードに象徴されるように、専門家だけでなく、ビジネスユーザーを含む幅広い層を対象に、この分野が進化していることです。一方で、日本では依然として専門のエンジニアが必要とされる状態にあり、「誰もがデータを使える」状態になるにはまだ距離があると感じます。このギャップを埋めることが、今後の競争力を左右する重要なポイントになるでしょう。

Databricksはレイクハウスを基盤にAIや生成AIを組み込んだ最新機能を次々と発表し、データ活用のハードルを下げる進化を続けています。SCSKはDatabricksとともに、「データを貯める」から「価値を生み出す」これからの日本を支えます。

（参考）データレイクとデータウェアハウス、レイクハウスの関係性

従来のデータレイクおよびデータウェアハウスと比較した、Databricksに代表されるレイクハウスの最大の特徴は、AIや機械学習によってデータ活用に最適化されているという点です。またレイクハウスは、データレイクの柔軟性とデータウェアハウスの整然さというメリットを兼ね備えており、両者を束ねる一番大きな概念と言えます。

	特徴
データレイク	生データをそのまま保存するための基盤。どんなデータでも柔軟に蓄積できる一方、整備されていないため活用・分析には専門知識が必要となる。
データウェアハウス	データウェアハウス 構造化データを整理して保存し、データ分析によってBIやレポートなどに使われる。現場でも使いやすい一方、データの種類が限られるため柔軟性に欠ける
レイクハウス	レイクハウス 構造化・非構造化データの両方に対応しているうえ、AIや機械学習によって高度なデータ分析も可能。

例えるなら、レイクハウスという部屋に、あらゆる物が投げ入れられた押し入れ（データレイク）と、おもちゃならおもちゃ箱、本なら本棚と、綺麗に整理整頓されたスペース（データウェアハウス）があるイメージです。さらにその部屋にはAIロボットも存在し、住人が何かをお願いすれば、すべてを把握しているロボットが動いて対応してくれます。