Databricks が2020 年にレイクハウスを発表してから4 年が経過しました。この4 年を振り返ってみると様々なことが起きました。
レイクハウスという用語を生み出したのはDatabricksですが、今では他社製品でもレイクハウスが使われるようになってきています。結果として、今年のMIT Technology Review Insights では、グローバル企業の74%でレイクハウスが導入されていると報告されています。
また、2023 年は生成AI 元年と言える年になりました。GPT-4 の発表をきっかけに国内外での生成AI、特に大規模言語モデル (LLM) の活用が進みました。メジャーなユースケースはQ&A ボットですが、それ以外のユースケースも業界問わず出現してきています。これに伴い、各企業で自身のLLM を構築、ファインチューニングするという動きも活発化してきています。
そして、大規模言語モデルとのインタフェースが自然言語であることから、「最もホットなプログラミング言語は英語である」という発言も注目されました。これは自然言語で大規模言語モデルに指示を行うことで、要約、翻訳、Q&A、コード生成など様々なことが行えるようになったことを指しており、日本語もまた新たなプログラミング言語になっていると言っても過言ではありません。
一方、生成AI の勃興によって、幻覚やバイアス、プライバシーなどの新たな課題も生まれました。生成AIを活用する企業ではこのような新たな課題、リスクへの対応も迫られている状況です。しかし、このような課題を解決するために様々な取り組みが行われおり、このような課題も徐々に改善されていきます。結果として、生成AI が様々なツール、システムに組み込まれていくことは想像に難くありません。
Databricks においては、すべての企業、人々がこのように大きな可能性を持っている生成AI を活用できるようにするために、レイクハウス自体を生成AI を用いて「データ インテリジェンス プラットフォーム」に進化させます。データインテリジェンスプラットフォームでは、生成AI を活用することでプログラミング言語を使うことなしに、データやAI を活用できるようになります。そして、企業固有の用途に適した生成AI モデルの開発、運用を容易にする仕組みを提供します。
本セッションでは、レイクハウスの説明からスタートし、データ インテリジェンス プラットフォームへの進化の経緯、データ インテリジェンス プラットフォームが提供する新機能をデモを交えながらご説明します。
すでにDatabricks をご利用の方のみならず、Databricks のご利用を検討中の方、これまでDatabricks をご存知なかった方も、ぜひ最新のデータとAI のためのプラットフォームの機能をご覧ください。