ちょっと衝撃を受けたので今日はいつもとは違う時間に更新。
みんなこれ読んだ？
この記事で紹介されているのは、今回の Google Cloud NEXT'24 で紹介された、BigQuery の continuous queries っていう機能についてなんだけど、さらっとすごいことが書いてある。
要するに BIgQuery で、あるクエリをずっと動かしっぱなしにできるってこと。これの何がすごいって、BigQuery だけでストリーミング処理までできるようになるってことなんだよね。
例えば(上の記事でも触れられてるけど) Pub/Sub の BigQuery サブスクリプションによって連携された、BigQuery のあるテーブルに格納されたデータを、continuous queries 機能で動かしっぱなしにしたクエリで加工して、別のテーブルに格納する……なんてことができる。
さらにいえば、BigQuery には既にデータパイプラインツールとして Dataform が統合されている。ということは、こうしたストリーミング処理のパイプラインのコード管理もある程度 BigQuery 単体で目処が立つものと考えて良さそう(まあ、dbt とかと比べると少しかゆいところに手が届かない……みたいな点も、Dataform にはあるんだけど)。
もともとバッチ処理に関してはスケジュールドクエリ機能によって実現できていた BigQuery だけど、今回の発表でさらにストリーミング処理までできるようになってきた。
これはつまり、本当に BigQuery が Google Cloud を使ったデータ分析の中心になるってことを示しているんだと思う。
正直、生成 AI とかのリリースよりこっちのほうがインパクトあるんじゃね？って感じのリリースだった。マジで注目したい。
