「指数関数的に増え続けるデータを押さえ込むには、ビッグデータ本場での開発以外には選択肢がなかった。常に先端かつ最新のテクノロジーに追随していく必要がある」。3月に開設したシリコンバレー（SV）拠点での駐在を始めた、ヤフーのプラットフォームエンジニアであるの岡本慎一郎氏はこう語る。SV拠点には岡本氏を含めて、3人のエンジニアが駐在している。
アクセス数が急増しているのは、幅広い層がスマートフォンを使い始めていることが一因。ヤフー側の事情もある。オークションやニュース、ファイナンスなど約100ものサービスを提供している。そうしたサービスの利用ログをより詳細に取得。「ユーザーの関心を、サービス横断で分析できるようにした」（データ＆サイエンスソリューション統括本部データプラットフォーム本部の佐々木潔本部長）からだ。
Hadoopは7000台、2年で倍増
ヤフーは処理能力の増大に、高速な分散処理サーバーのHadoopを活用することで対処してきた。Hadoopサーバーの台数は日本でも有数の7000台と、ここ2年で倍増している。CPU性能の向上で解決した時期もあったが「現在は、CPUの周波数を上げることができなくて頭打ち」（岡本氏）という状況だ。
米グーグルや米アマゾン・ドット・コムのような巨大IT企業は自社でサーバーを開発し、部品も調達することで、ITのコストを大幅に圧縮しているとされる。これに対してヤフーは米ヒューレット・パッカード・エンタープライズ（HPE）と提携し、新型のサーバーを共同で開発していく方針だ。HPEにとっても多様な大量データの処理ノウハウが得られる。
一方で保存するデータ量の増大には、Hadoopで高い技術力を持つ米ホートンワークスと提携して対処する。同じデータを3重に管理する必要があったとしても、2倍のストレージ容量で済むといった技術を検証しているところだ。
サービス提供が日本に限定されるため国内指向だったヤフーにとって、SV拠点の開設はITコストの圧縮にも増して、「世界の競合と対等に戦うための力をつける」（佐々木本部長）とのミッションもある。
シリコンバレーにあるホートンのオフィスにはヤフー用のデスクもあり、ホートンのエンジニアと直に連携した作業もしている。「本場の一流のエンジニアは表面的ではなく、自分の手を動かして根本的に考える。非常に参考になる」（岡本氏）。
ヤフーのデータ専門部隊である データ＆サイエンスソリューション統括本部は約360人と大所帯だが「足りていない」（佐々木本部長）。中途での採用にも取り組んでいるが、「求めるスキルを満たす人がいない」（同）と言う。そのため今年4月には新入社員のエンジニアの3分の1の44人をデータ＆サイエンスソリューション統括本部に配属。自前で育成していく考えだ。
米国でこうした人材を育てたり、優秀な人材を獲得したりできれば、ヤフーの競争力の底上げにつながるだろう。
