「タクシープローブデータの分析」と「タクシードライバーの経験」

データ分析においては、その対象の経験者の知見をいかに活用するかが重要である。 エキスパートシステムの背景思想も、このような経験者の知見を活かすことである。 私は今現在、タクシープローブデータの分析を行っている。 そのデータにはタクシードライバーIDが紐づいているので、タクシードライバーさんごとの営業成績がわかる。 営業成績は、お客さんからもらった運賃のデータがあればいいのだが、それが…

続きを読む

データエンジニアと、データ基盤を開発し運用するインフラエンジニアやシステムエンジニア、データベースエンジニアとの違い

現在、データ活用による予測、自動化、評価、要約(レポーティング)、計画(最適化)などへの期待が増大している。 それに従い、これらに関する課題も増大している。 つまりは、期待という需要に対して、期待を実現する(=課題を解決する)供給のバランスが、著しく需要側に寄っている不均衡になっている。 この課題の解決には、大別して2種類の方向が必要となる。 ①アドホックな試行錯誤による柔軟な分析=…

続きを読む

データの品質を高めるために、あえて分析を先に進める作戦

データの欠陥やバグを、データ取得のクエリを見ながら地道にデータの品質を高めることは重要である。 しかし、正解データがないなかで、いたずらに時間をかけてしまうのは効率的であろうか? データの品質向上を進めれば進めるほど行き詰ることがある。 その場合、今あるデータで、分析にかけてしまう(基礎集計したり、モデリングしたりなど)方が効率的なケースがあった。 なぜなら、分析にかけることで、初め…

続きを読む