Databricksは、Apache Sparkの生みの親であるマテイ・ザハリアと共に、アリ・ゴディシが2013年に設立した企業である 。

AI/機械学習をはじめとするビッグデータを扱うためのクラウド型の統合データ分析基盤である「レイクハウス・プラットフォーム」を提供しており、データエンジニアリング、データサイエンス/機械学習、データ分析の領域に強みがある。

2022年に上場予定と言われているユニコーン企業であり、2021年8月に発表したシリーズHの資金調達後の市場価値は約4兆円となっている。。2021年12月現在、世界で7,000社を超える企業に利用されており、テクノロジー販売パートナーは約450社となっているhttps://it.impress.co.jp/articles/-/19496。

2021年ガートナー「マジッククアドラント」において、データサイエンスおよび機械学習プラットフォーム部門のリーダーとして評価されているhttps://databricks.com/jp/blog/2020/02/17/databricks-named-leader-in-gartner-magic-quadrant-for-data-science-and-machine-learning-platforms.html。また、2021年9月、ガートナー社のTechnology Hype Cycleのチャートには、「レイクハウス」が、Innovation Triggerのカテゴリーに分類された。

Apache SparkやDelta Lake、MLflow、Redashといった自社ソフト（もしくは創業メンバーが過去に開発したソフト）を組み合わせ、大規模なデータエンジニアリングとコラボレーション型データサイエンスのためのクラウドプラットフォームを開発しており、開発したソフトウェアの多くをオープンソース化し、オープンソースコミュニティとして維持していることもDatabricksの特徴。日本法人はデータブリックス・ジャパン株式会社。

創業メンバー

Ali Ghodsi, CEO, カリフォルニア大学バークレー校非常勤教授 Andy Konwinski、元バークレー大学博士課程の学生でApache Sparkのコミッター Scott Shenker, Board Member, カリフォルニア大学バークレー校教授、Niciraの共同設立者で元CEO Ion Stoica、カリフォルニア大学バークレー校教授、エグゼクティブチェアマン、Convivaの共同設立者兼CTO Patrick Wendell、元バークレー校博士課程の学生でApache Sparkのコミッター Reynold Xin, バークレー校の元博士課程の学生でApache Sparkのコミッター Matei Zaharia, カリフォルニア大学バークレー校のPh.D.候補生時代にApache Sparkを作成し、現在はスタンフォード大学の教授

沿革 2013年9月、DatabricksはAndreessen Horowitzから1390万ドルを調達したことを発表し、GoogleのMapReduceシステムに代わるものを提供することを目指していると述べたhttps://gigaom.com/2013/09/25/databricks-raises-14m-from-andreessen-horowitz-wants-to-take-on-mapreduce-with-spark/http://radar.oreilly.com/2013/09/databricks-aims-to-build-next-generation-analytic-tools-for-big-data.html 同社は2014年に3300万ドル、2016年に6000万ドル、2017年に1億4000万ドル、2019年2月に2億5000万ドルhttps://databricks.com/company/newsroom/press-releases/databricks-250-million-funding-supports-explosive-growth-and-global-demand-for-unified-analytics-brings-valuation-to-2-75-billion、2019年10月に4億ドルを追加調達したhttps://techcrunch.com/2019/10/22/databricks-announces-400m-round-on-6-2b-valuation-as-analytics-platform-continues-to-grow/?guccounter=1&guce_referrer=aHR0cHM6Ly9lbi53aWtpcGVkaWEub3JnLw&guce_referrer_sig=AQAAAHel91F6Bdmi8j8V7Ey7_b7sjHcg1Djf5k6BU0HNNmjOOWPvcz209vZtb9zqBANxh9dhTsi4H59a4Bs9ACCQqvjT5veKWNV5JqamAsHsRn9481pIHv2m2vK3qy7rIg8AxR-PBJNrM2tb9bt5o7tfDA4Up6onLROJv2z-9b3FP712。2021年2月に、シリーズGとして、Capital G(Goole)、Microsoft、AWS、SalesforceのクラウドBig4からの10億ドルの資金調達を発表し、2021年9月には、16億ドルのシリーズHの資金調達を実施、市場価値が約4兆円に到達した。

関連ソフトウェア

Apache Spark Apache Sparkは、ビッグデータと機械学習のための非常に高速なオープンソースのクラスタコンピューティングフレームワークである。Sparkのインタフェースを使うと、暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。Scala, Java, Python, R用のハイレベルなAPIや、データ分析用の一般的なコンピュテーショングラフをサポートする最適化エンジンを提供する。SQLやDataFrames向けのSpark SQL, 機械学習向けのMLlib, グラフ処理向けのGraphX, ストリーミング処理向けの Structured Streamingも提供する。

Delta Lake オープンソースのストレージレイヤー。非構造化、構造化、半構造化データも全て一括して格納する次世代型のデータレイク・データウェアハウスである。Apache Sparkや他ビッグデータエンジンに対して、拡張性やACIDトランザクション機能を提供する。

MLflow オープンソースのプラットフォーム。実験、再現性確認、デプロイメント、一元的なモデルのレジストリーなどの機械学習のライフサイクルの管理を容易にする。

Koalas オープンソースプロジェクト。pandas DataFrame APIをApache Spark上に実装することで、データサイエンティストがビッグデータを扱う際の生産性を向上する。

Pandas プログラミング言語Pythonにおいて、データ解析を支援する機能を提供するライブラリである。特に、数表および時系列データを操作するためのデータ構造と演算を提供する。

脚注