【技術】Google BigQueryからデータ取得コードの設計思想

Google BigQuery(BQ)からデータを取得するコードの設計思想には、以下のような大別ができます。 1.定常=バッチ処理  ・主に使う技術    ・SQL、シェルスクリプト、Cron、perl  ・メリット    ・人を介さない自動的な処理が定常的に実行される。=人件費の削減  ・デメリット    ・アドホックな要件に適さない 2.アドホック=リアルタイム処理(…

続きを読む

一般の人々とデータ分析の接点

一般の人々にとって、データ分析は関係ない、あるいは関係は薄いと思われがちですが、実は日常の様々な状況でデータ分析が用いられています。 いくつか挙げてみたいと思います。 これらはデータサイエンティストにとっての市場でもあります。 1.価格  買い物をする際に、最も大きな要因を占めるのは価格です。その価格はデータ分析が関与して決まっています。例えば、ダイナミックプライシングがあります。航…

続きを読む

データ活用企業の中心にGoogle BigQueryがある

Google BigQueryは企業のデータを集中管理するのに中心となる、デファクトスタンダードなサービスです。 例外となるデータは、クラウドにアップロードできない機密情報でしょう。 それ以外のものであれば、全データをGoogle BigQueryで集中管理し、そこからさまざまな分析やサービスへ活用していくというプロセスをとることができます。 特に、BigQueryは大規模なデータを高…

続きを読む