ここから本文です

Hadoop生みの親が、ゼロックスからアップルに転職した理由――Doug Cutting(ダグ・カッティング)インタビュー

@IT 4/12(水) 7:10配信

 アップルやディズニーなどの外資系企業でマーケティングを担当し、グローバルでのビジネス展開に深い知見を持つ阿部川“Go”久広が、グローバルを股に掛けたキャリアを築いてきたIT業界の先輩にお話を伺うインタビューシリーズ。第15回は「Hadoopの生みの親」Doug Cutting(ダグ・カッティング)氏に登場いただく。

【ダグさんのその他の写真】

 Lucene、Nutch、Apache、そしてHadoopを作った男が考える、エンジニアの喜びとは――。

●スタンフォードでの専攻は「言語学」

阿部川“Go”久広(以降、阿部川) 最近のHadoopの活用事例を紹介してください。

Doug Cutting(ダグ・カッティング:以降、カッティング氏) 例えば、敗血症の患者を特定する分析用ツールを、米国の電子カルテ企業に提供しています。世界中の病院でHadoopが利用されており、既に何万人もの命を救いました。このようなプロジェクトに関われることを心から光栄に思いますね。

阿部川 テクノロジーが私たちの生活の質を向上させていく好例ですね。

カッティング氏 ええ。あるリサーチャーによると、これからはがん患者1人1人の症状に合わせた治療を効果的にできるようになるのではないか、とのことです。

 多くの患者の症状、腫瘍の状態、突然変異の状態がビッグデータとして蓄積されていけば、それが可能になります。まさかデータシステムががん治療に役立つとは考えていませんでしたが、今では非常に有効な手段の1つになりました。

阿部川 「全てにデータあり」ですね。全てのものはスキャンし、データとして情報化が可能である。そこに世の中をより良くしていくためのヒントが隠されているように思います。

カッティング氏 データプロセッサーやセンサーなどの機能はどんどん進化し、しかも安価になったので、多くのデータの作成や集積が可能になりました。そのおかげで私たちは、常に何かしら新しいことを発見したり作り出したりできる。とても良い循環になっていると思います。

阿部川 ところでダグさんは、スタンフォード大学では言語学をご専攻されたとか。

カッティング氏 はい。私は、ワインで有名なカリフォルニア州ナパ郡の小さな町で育ちました。1980年代に地元のカレッジに通い、そこで初めてコンピュータに出会いました。

 プログラミングができるようになり、もっとコンピュータのことを学びたいと思ったのですが、当時スタンフォード大学にはコンピュータサイエンスの学部がなく、代わりに哲学科や言語学科のコースの中に、コンピュータサイエンスを学ぶ講座がありました。応用言語学や計算言語学という分野で、言語の論理性や法則性などを研究する必要があるためです。

阿部川 プログラミングも言語の分野の1つではありますね(笑)。

カッティング氏 その通りです。その後大学院で、言語学に関連するコンピュータシステムの構築を専攻しました。音声認識やテキストの検索や細分化、クラスタ化などですね。

 どのようにすれば言葉や単語をテキストの中から探し出せるのか、そのための標準的な方法にはどのようなものがあるか、あるいは言語の形態論などについて研究しました。言語学はどちらかというと数学に近く、コンピュータを用いて研究することは理にかなっていました。

阿部川 フィールドは言語学ですが、既にエンジニアだったわけですね。

カッティング氏 言語学の研究は楽しかったですよ、それを職業にしようとは思っていませんでしたが。

●検索! 検索! 検索!

カッティング氏 最初に就職先したのはXerox(ゼロックス)のパロアルト研究所です。そこでテキストの検索やクラスタ化などを自動で行うシステムを研究していました。

 インターネットが普及する前でしたが、当時からゼロックスは将来を見据えた技術開発を行っており、近い将来、人々が全てのドキュメントをスキャンできるような時代が来ると予測していました。

 コピー機能はファイルシステムに進化し、ドキュメントをそこに入れておけばコピー機能が作動し、そこには複写されたドキュメントがファイルとして収納される。そのためにドキュメントを検索する技術が必要だと。私は初めてテキスト検索技術に出会い、検索エンジンの開発を学びました。5年ほど勤めて、Apple(アップル)に移りました。

阿部川 私もちょうどその時にアップルに在籍していたんですよ。クパティーノ(アップルの本社)のどこかですれ違っていたかもしれませんね。

カッティング氏 そうでしたか! ちょうど「Coopland」(当時のアップルの次期OSシステムのコード名)を開発中で、私はそのOSの中にどうやって検索機能を持たせるかを開発していました。

 OS内の全てのテキストをインデックス化して検索機能を充実させる計画でしたが、ご存じの通りこのOSは開発が中止されてしまって……。とても残念な思いをしましたが、この時に研究していた検索技術が「Spotlight」(MacOS Xから登場した検索機能)として実を結んだので良かったです。

 1996年にExcite(エキサイト)に移り、検索技術の主任エンジニアとしてエキサイトの市場拡大に腐心しました。

阿部川 当時はAltaVista(アルタビスタ)が検索エンジンの最大手でしたね。

カッティング氏 そうそう、まだ起業してはいませんでしたが、後のGoogle(グーグル)のメンバーとも協議したことがありますよ。「自分たちの検索技術の方がずっと優れている」といって売り込みに来たのです。当時は彼らの技術を信用できなかったので、断りましたが(笑)。

●Lucene→Nutch→Apache→Hadoop

阿部川 「Lucene」を開発されたのはいつですか?

カッティング氏 エキサイトにいたころです。ITバブルがはじけた時に、「もしかしたら仕事がなくなることがあるかもしれない」と思い、当時持っていた新しい検索エンジンのアイデアを形にしたのです。

 週のうち3日はエキサイトに勤め、残りの2日を自宅でLuceneの開発に費やしました。エキサイトが2000年に倒産したとき、本格的にLuceneをビジネス化することも考えましたが、そのとき「自分が熱中できるのは起業やビジネスではない」ということに気付きました。

 「より多くの人々にこのテクノロジーを使ってもらうこと」が何よりも喜びであり、私の最終的なゴールだと。そこでこの技術をオープンソース化することにしたのです。その後、Luceneを基本のコンポーネントとした「Nutch」を開発します。

 オープンソースであれば、その仕組みを誰でも見られます。それによって、製品が切磋琢磨され品質が向上する。

 今でこそ検索技術の向上は重要事項と認識されていますが、2002年から2003年くらいまでは、関心を持つ人はいませんでした。誰もやっていなかったからより魅かれたともいえます。「すばらしい検索技術の中身を、皆が見られるようにしたい」と思いながら開発していました。

阿部川 Nutchは2006年に、Yahoo!(ヤフー)の手に渡りましたね。

カッティング氏 Nutchというか「Apache」ですね。当時のヤフーは一般的な目的でのプロセスフレームワークを求めており、私たちはそれについての新しいプロジェクトをスタートさせました。それが「Hadoop」です。

 Hadoopの全ての仕事はApacheが基になっており、Apacheのコミュニティーは常にこの活動を支援してくれました。ヤフーも非常に大きな貢献をしてくれました。

阿部川 Hadoopという名前は、ダグさんのお子さんが命名なさったとか?

カッティング氏 ええ。息子の持っていた象のぬいぐるみの名前です。

阿部川 オープンソース関連のソフトウェアやシステムは、動物に関係する名前が多いですね。Linuxのペンギン、SUSEのゲッコーにMozillaの狐……。

カッティング氏 確かに(笑)。個人的な考えですが、ソフトウェアをより身近に感じてもらえるように、マスコットが必要なのだと思います。スポーツチームがシンボルやマスコットに動物を用いるように。動物はアイコンとして最適ですからね。

●ゼロックスからアップルに転職した理由

阿部川 その後、2009年にCloudera(クラウデラ)に移られたわけですね。オープンソースの普及以外に、大切にしていることはありますか?

カッティング氏 多くの人々に実際に使ってもらえるソフトウェアを開発することです。ゼロックスではさまざまな特許を申請しましたが、実は誰もそのソフトウェアを使わなかったということもありました。とても残念で、アップルに移った理由もそこにあります。

 アップルではユーザーが使うシステムを開発しましたし、エキサイトでもユーザーが検索エンジンを使っていることが分かりましたので、とても興奮しましたし、「開発して良かった」と思いました。オープンソースもユーザーに使ってもらえるので、「開発してよかった」という実感があります。「実際に使ってもらう」ことは、常に私のゴールです。

 多くの人々に使ってもらうことで新しい価値を提供できるようなソフトウェアを開発することが、私の情熱の源です。ですからこうしてHadoopを開発できましたし、多くの人々に使われるようになったのだと思います。「開発のための開発」ではなく、本当に人々が使ってくれるソフトウェアの開発を行い、それによって新しい価値を提供することが大切だと思っています。

阿部川 最後に、日本のエンジニアにアドバイスをいただけますか?

カッティング氏 ソフトウェア開発にとって、オープンソースは非常にすばらしい環境です。多くの人と交流でき、そこで開発された技術も長く利用されるケースが多いので、やりがいも多いと思います。

 私はオープンソースを軸にして、多くの人が同時にソフトウェア開発に関わっていくことを強く勧めます。開発の主要言語は英語ですから、日本ではその点が重荷になることは承知していますが、英語もプログラム言語も言ってみれば単なる言語です(笑)。

 多くの日本のエンジニアがオープンソースプロジェクトに参加していることに、とても感動しましたし、励まされもしました。ぜひ、やり続けてください。オープンソースが、どんな技術よりも常に優れているとはいいませんが、少なくともオープンソースの環境での開発に携わっていれば、学べることはたくさんあるし、多くの利点も享受できると思いますよ。

●Go's think aloud~インタビューを終えて

 背がとても高く、スマートで、身のこなしもしなやかだ。颯爽(さっそう)とインタビューにあらわれた「Hadoopの生みの親」は、しかし人懐こい笑顔で早口に話し出した。

 コンピュータが、なかんずくプログラミングが何よりも好きなこと。そして出来上がったソフトウェアは、多くの人々に使ってもらってこそ価値を発揮するものであること。この2つが彼の本質であり、その精度をひたすら研ぎ澄ましてきた道のりが、今の彼を作り上げた。

 「コードを書くことは、どんどん少なくなってきているけどね」――そう言ったとき、いかにも残念という表情で頭を掻いた。「エンジニアが世の中に貢献しないといけないことはやまほどある。そしていまがその1番のとき」と目を輝かせて話してくれたとき、大組織のチーフアーキテクトは、夢を追う若きプログラマーに戻った。

・阿部川久広(Hisahiro Go Abekawa)
アイティメディア グローバルビジネス担当シニアヴァイスプレジデント兼エグゼクティブプロデューサー、ライター、リポーター
コンサルタントを経て、アップル、ディズニーなどでマーケティングの要職を歴任。大学在学時より通訳、翻訳なども行い、CNNニュースキャスターを2年間務めた。現在は英語やコミュニケーション、プレゼンテーションのトレーナーとして講座、講演を行うほか、作家として執筆、翻訳も行っている。

最終更新:4/12(水) 7:10

@IT