本連載は今回が最終回である。これまでの連載を振り返りつつ、データ分析に必要なことをまとめてみたい。データ分析を楽にする方法はあるかもしれないが、分析力を高めるには分析の方向性について意識的な使い分けと、基礎力が必要である。

優れたデータサイエンティストになるために、いったい何をすればいいのか（写真／Shutterstock）

［画像のクリックで拡大表示］

　「売り上げを上げる」「LTV（Life Time Value）を上げる」「抱えるデータで新しいサービスを作る」など目的はさまざまだが、データ分析は自らが抱える問題の解き方をデータから得るためにある。「どのような問題か」「問題に対する手立て」「手立てにおけるデータの役割」は、分析の過程ではあるが計算の前に考えるものだ。「データで確認する問題」と「データから解を探す問題」では異なるだろう。

　連載1回目で述べたように、データを分析すると「知っていることしか出てこないから、役に立たない」「そんなことは、分析する前から知っていた」と評価されることがある。「論理」と「言語化できる経験」の密度が同じであれば、ある現象に関してデータから得る結論は経験知と一致しやすいだろう。

　経験知などに基づく理論とデータに表される事実に矛盾がないか確かめるデータ分析では、意外な事実は発見し難いものである。その結果、役立たないという評価を下してしまっていないだろうか。

　同じデータから意外な事実を発見したい場合、もちろんその事実がデータに含まれている必要があるが、加えてデータから考えるロジックの密度をさらに高める必要もある。

　それまでのロジックとは異なる、あるいは他のデータとは異なる部分を探していくと、「誰もが納得しやすい正解」とは違った結果が導かれるかもしれない。しかしデータをさまざまな角度から見ることで、背後にある生成理由を考え、理解できる。

　理解は新たなアイデアの素地となり、検証を繰り返すことはデータを生成する現象への理解の精錬である。分析者の発想力などに依存する部分はあるものの、探索的な分析は、データと経験知の間に存在し得るものに気がつきやすくいかもしれない。

　確認と探索は、分析手法の違いではないし、どちらかに優劣があるわけでもない。いずれの場合でも、気付かないうちにどちらかに分析が進んでしまわないように意識する必要がある。また、自らが解こうとする問題の種類や大きさによって比率を調整することも重要だ。例えば、データ分析の目的がロジックや経験知などの確認であれば、得られたデータとの整合性を重視する。一方で、データを利用して「既存の正解と異なる正解」を見つけるためには、探索する部分を増やす。このような使い方が、データ分析結果をより効果的なものにしていくのではないだろうか。

自ら実践できること

　こうした使い方を可能にするのは、やはり基礎力だ。具体的には、「手法に対する知識」と「手法の実践力」である。最近は、ライブラリーなどをダウンロードすれば、かなり高度な手法で計算結果を手軽に眺められるようになった。しかしデータで実証を行ったり、データ分析して解決策を探したりするような問題は、データを他人が作ったライブラリーの関数に当てはめれば解けるわけではない。