ここから本文です

会社のクチコミを金融アナリストが分析、企業スコアの設計で大切なこととは? 

9/9(月) 12:00配信

MONEYzine

■就職・転職のクチコミを金融アナリストが分析

――今回は、日本証券アナリスト協会が選出した「2018年度 証券アナリストジャーナル賞」の受賞論文を執筆された、クレジット・プライシング・コーポレーションの西家宏典さんと、その研究にデータ提供をされたオープンワークの本多雄太朗さんにお話をうかがいます。最初に現在の業務内容についてお聞きしてもよいでしょうか。

「従業員口コミを用いた企業の組織文化と業績パフォーマンスとの関係」

西家:私は、会社の倒産確率、会社の信用力、格付けといった信用リスクまわりを推計するモデルを国内の金融機関向けに提供する仕事をしています。近年では、特に機械学習を用いた融資審査のためのモデル開発などを行っています。

株式会社クレジット・プライシング・コーポレーション
シニアコンサルタント 西家宏典さん

本多:私は「OpenWork」、5月までは「Vorkers」という名称だった社員クチコミサイトのデータサイエンティストとしてさまざまなデータ分析をしています。ユーザーが投稿した「社員による会社評価」は、転職や就職活動をしている多くの人たちが検索・閲覧しています。私の仕事は、投稿する人・閲覧する人の双方にとって使いやすいサービスになるよう、UXを高めていくための分析が中心になります。

――西家さんは、同志社大学の津田博史教授との共著でという論文を執筆されました。論文のタイトルにもあるとおり、当時のVorkersに投稿された「社員によるクチコミや評価」のデータを活用されたわけですが、投稿しているのはどんな人たちなのでしょうか。

本多:私たちがサービスを開始したのは2007年なのですが、2016年から2018年くらいから、爆発的にユーザーが増えていきました。以前はユーザーの属性に偏りがありましたが、現在では幅広い層の方にご利用いただいています。たとえば、かつては男性が多かったのですが、徐々に女性の割合も増えています。

 サービス開始当初は金融業界やコンサルタントの方が多く、1~2年後にはIT業界の方からの投稿が中心になってきました。その後、メーカーや商社、小売業や飲食、サービス業全般など幅広い業界に広がっています。世代についても最初は30歳前後に集中していましたが、40代以上の方のクチコミも増えてきて、今では約2割が40代以上となっています。

オープンワーク株式会社
データサイエンティスト マネジャー 本多雄太朗さん

――投稿できるのは、自分が働いている会社についての個人的な見解や評価ですよね。

本多:はい。OpenWorkでは文章で投稿する「社員クチコミ」と「評価スコア」を投稿することが可能です。社員クチコミは、「組織体制・企業文化」「働きがい・成長」「ワーク・ライフ・バランス」「企業分析[強み・弱み・展望]」「入社理由と入社後ギャップ」「女性の働きやすさ」「退職検討理由」「経営者への提言」「年収・給与」の9つのカテゴリごとに入力することができます。クチコミを投稿する際、これらすべてを網羅する必要はなく、投稿者が選んだ項目のみ回答することが可能です。

 一方、評価スコアでは、「待遇面の満足度」「社員の士気」「風通しの良さ」「社員の相互尊重」「20代成長環境」「人材の長期育成」「法令順守意識」「人事評価の適正感」の8つを5段階評価するかたちですね。現時点でオープンワークのサイトには、「クチコミ」と「評価スコア」が810万件投稿されています。

西家:私たちが使ったのは投稿されている全上場企業のクチコミデータで、当時でおそらく10万件ぐらいあったと思います。

――データを分析する際に、なにか課題はありましたか? 

西家:クチコミは文章情報なので、どうやってその文章を定量化して、会社ごとにスコアを振るかがいちばん難しいところですが、近年では機械学習や自然言語処理など、文章情報を定量化する技術が進んでいるので、今回の研究ではそれらを応用してスコアを作っていきました。

 課題としては、会社ごとにクチコミの投稿数に偏りがある点ですね。大企業であれば多くの投稿がありますし、小さい企業であれば少なくなる。スコア化をするにあたっては、こうした「投稿者数の違い」を是正したスコアをどのように作るかがいちばん大きかったと思います。

――オープンワークが、金融のアナリストにデータ分析を依頼したのはなにか理由があるのでしょうか。

本多:西家さんたちは、企業の業績や株価などの市場動向に関する分析といった、私たちが持っていないノウハウをお持ちだったので、協力することで面白い結果が得られると考えたからです。私たちもクチコミのスコア化には取り組んでおり、その結果はオウンドメディアので公開しています。クチコミから作成したスコアを使った調査としては「性格のいい会社ランキング」や「社員が支持するIT社長ランキング」などがあります。

 ただ、私たちと西家さんでは、そもそも「なにがポジティブで、なにがネガティブなのか」という視点から違うんですよね。「働きやすい」「自分のやりがいを持つことができる」「モチベーション高く仕事ができる」という投稿が、働く人が「良い」と思うクチコミ。私たちも、そういった観点で教師データを作成してランキングなどを作ってきました。「ワーク・ライフ・バランス」や「入社後ギャップ」などについては、うまくスコア化できたのですが、その会社が持つ技術力、経営、企業文化をどう評価するかという点についてはあまり知見がなかった。

 一方、西家さんは企業の社風が表れる項目として、クチコミの中でも「組織体制・企業文化」に着目していました。実は「ワーク・ライフ・バランス」とか「女性の働きやすさ」というのは、企業ごとの差があまり出ないカテゴリなのです。「良い」「悪い」の差はありますが、投稿で使われる語彙はどの企業でも似通っています。それに対して、「組織体制・企業文化」というのは、企業ごとの色が出やすいカテゴリ。そのような特徴も西家さんが「組織体制・企業文化」に着目され、今回の結果が得られた要因だと思います。

■社風の良し悪しではなく「変化できるか」を評価

――では、論文にまとめられたそれらの分析がどのようなものだったか、具体的にお聞きしたいと思います。

西家:よくテキスト分析では、単語ごとに文章を分解して、どういう単語が出てきたらポジティブで、どういう単語が出てきたらネガティブといったやり方をとりますが、企業文化のとらえ方は人それぞれ異なります。たとえば、「社長がワンマンで、すべてトップダウンで物事が決まる」といったクチコミがあったとします。このクチコミを読んで「この会社は良い」と思う人もいれば「悪い」と思う人もいる。一概に「ワンマン」というだけで「悪い」と評価することはできないのです。

西家宏典・津田博史 著(証券アナリストジャーナル 2018年7月号) なので、今回はあえて正解を作りませんでした。その代わりにやったのは、複数の同僚たちにクチコミの文章を一文一文読んでもらい、「あなたはこれをポジティブと思いますか、ネガティブと思いますか」という質問に答えてもらうことです。そのようにして「教師データ」を作成し、それを機械学習モデルにより学習しました。そのようにすることで、複数の価値観を入れて、総体としてどのように思うかを確率で表現することが可能となりました。

 とはいえ正解はないので、分析の結果、スコアが高い会社が本当に良いのか悪いのかというのは、実際にはわからない。そのあたりは、本多さんをはじめオープンワークの皆さんと議論し、オープンワークの分析結果と突き合わせながら何回かやり取りして、私たちが作ったスコアが実態とかけ離れたものではないということを確認しながらモデルを構築していきました。

――数式や数字と向き合いながら、人との議論や意見を集めて調整していくのは大変な作業ですね。

西家:教師データを作って、その文章がポジティブかネガティブかを判定する「センチメント分析モデル」については、検証の結果、ちゃんと精度が出ていたので、そこは心配していませんでした。

 一般的には「センチメント分析モデル」と言われる機械学習や自然言語処理で確率を出すことに心血を注ぐのですが、私はそこから先の部分、会社ごとに集計したスコア値を作るところが本質だと考えています。最初に申し上げたように、クチコミ数が違う中でそれを是正しながら真の意味で正しいスコアを集計して作るというところが難しかったし、実際そこがいちばんの課題でした。

――最終的に論文の結論として導き出されたものは、なんだったのでしょうか。

西家:基本的に「組織文化」や「社風」といったものはとらえるのが難しいものですが、シンプルに表現すると「従業員たちが集まって感じる雰囲気」と言えるかと思います。今回の論文では、その雰囲気が良くなるということが、その会社の、将来の売上高の成長につながるという結論になっています。

 言い換えると、社風が「良い」「悪い」ということではなく、社風が「良くなる」ということ、あるいは「悪くなる」ということに注目しました。そして、もしある会社の雰囲気がすごく悪くなっているとしたら、それは株価として悪くなるとか、市場の反応が悪くなるというかたちにつながっていく。大事なのは、「組織文化が良いから、業績が良い会社」ではないということ。あくまでも「変化」が、その会社の業績や将来を占うことにつながるということが結論としては大きなところですね。

――なるほど、その会社がどう変化したのかが重要なのだと。そして、その変化というのはデータから計測できた変化を評価したということですよね。

西家:ええ。おそらくこのデータでなければできないであろう分析ですね。今回、会社の組織文化がどのような推移で動いているかを定量化して、その推移、変化を見ています。2007年に当時のVorkersがサービスを開始して以来、蓄積されてきたクチコミには、すべて投稿日が付いています。金融業界では、「そのデータは、いつ認識できるのか」というのを非常に気にするのですが、明確に投稿日が記録されているので認識時点が明確になる。これによって時系列で推移を追うことができます。

――企業の文化や風土というものは、そんなに簡単に変わらないのではと思う人もいるかと思いますが、実際に2007年からのデータを分析されて、いかがでしたか。

西家:変わっていってますね。あまり具体的には言えないですが(笑)。面白いのが、市場全体としてどうなのかという指標も作っていて、日本市場全体の組織文化というのはどういうふうに推移しているのかも見ることができるんです。

――個々の企業の変化も重要ですが、日本企業が変わる力を持っているのかどうか、その指標からわかるとしたらすごいことですね。

■スコアリングで大切なこと

――今回の研究を振り返って、その他にもいろいろな発見があったかと思うのですが。

西家:そうですね。データを分析するときには、どうしても「このデータは株に利くのか、利かないのか」「業績に利くのか、利かないのか」という視点で見てしまうのですが、私はそれだとあまりうまくいかないと思っています。

 今回やった分析は、まず「この会社の社風は良いのか、悪いのかを評価するモデルを作りましょう」という段階があり、そこからワンクッション置いて、じゃあ「社風が良い会社というのは株に利くのか、業績に利くのか」という考え方をしています。

 実は、そこは断絶していないといけないと思っていて、一直線に「このデータは株に利くのか」という分析をしてしまうと、これはオーバーフィッティング(過剰適合)と言われるもので、そのときしか利かないものになってしまう。将来的に利かないですし「なぜなのか」も説明できない。したがって、ワンクッション置くということが今回大きかったと思います。

――現在では、いろいろなデータを使ったスコアリングサービスが出てきていますが、実際にスコアリングの設計をする方がなにを重視しているかによって、その内容も変わってくるということですね。

西家:いろいろ調べてみたのですが、センチメント分析の際、一人ひとりが言っている意見を集計してスコアにするというやり方には、実はスタンダードな手法はないんですよね。たいてい単純に平均したくなるのですが、平均するとダメなんです。なぜかと言うと、投稿者数が多い会社ほど統計学的には分散が小さくなるので、みんな同じスコアになってしまうからです。

 各種クチコミサイトやECサイトでは、レビューの情報をもとに商品やお店のスコアを出していますが、おそらくサイトごとにノウハウがあって、そのサイトに合ったスコアの作り方をしているはずです。私たちも今回は、投稿者数に影響を受けないようにして、表面的な社風ではなく、その裏にある本質的な社風というものをいかにスコア化するかをゴールに集計方法を考えていきました。

――最近では、ESGやSDGsなど、財務指標とは違う観点から企業を評価しようという取り組みがあります。それらの枠組みは国連や各国政府などが議論して作り上げているものですが、一方でOpenWorkのように一般のユーザーが「私はこう思いました」という情報を投稿し、蓄積されて分析した結果、「この企業はこういう評価になりました」ということが可能になってきた。このように異なる視点や角度から企業が評価され始めているということは、非常に大事なところだと思います。

西家: ESGの分析で使われるデータというのは、基本的に会社側が出しているものですよね。でも、その会社自体が信用できなかったら……というのも可能性としてあるわけです。

 論文にもバイアスの話を書いたのですが、客観的に見れば虚偽のクチコミがある可能性は確かにあります。そういう指摘はもっともなのですが、会社がなんらかのデータを公開するとき、組織としてフィルターをかけて、最後に担当者が確認をして公開するとして、もしそこに関わった人が?をついていたら全部が黒ですよね。一方、従業員100人のクチコミのうち1個が間違えていたとしても、99個は合っているわけです。

本多:投稿された生のクチコミは、すべてがすばらしい文章というわけではありません。OpenWorkは自分でクチコミを投稿しないと、他の人のクチコミが読めないようになっているので、いたずらのような投稿をする人はどうしても出てしまう。そのためにシステムと目視、さらに機械学習を使った審査も含め、いろいろなチェックを経て、信頼できる情報をユーザーに届けられるように注力してきました。しかし、実際に掲載しているクチコミの信憑性を測る客観的な指標がなかったので、こうした取り組みにどの程度効果があるのかわからないまま手探りで進めている状態でした。

 今回の論文で、組織文化のスコアを出してみたら、実際に業績などと関連があったという結論が得られたので、厳密に審査をしてきたことによって、掲載しているクチコミにある種の正確さが担保されていることの、ひとつの評価が得られたと思っています。

■転職者だけでなく、より多くの人が活用するデータに

――最後に、今回の研究成果を今後どのように活かしていくのか、お聞きしたいと思います。

西家:ビジネス的には、オープンワークと一緒に作ったこのスコアを金融業界で使っていただけるように提供していくというのがひとつあります。このスコアを組み込んだ株のファンドを作るとか、リスク管理の観点から、クチコミのスコアに変動があったときに、そこを改められるようにするとか。究極的には、このスコアが高くなることが会社にとっての目標になるなどして、良い会社にきちんとお金が流れるような枠組みを作っていきたいと考えています。

本多:オープンワークとしては、今回の研究成果を踏まえて、今後は転職を考えている方にもっと活用していただきたいですし、転職者以外の方にも信頼できる情報として利用してほしいと思っています。

 実際、転職目的以外の登録者も増えているんです。自社のことをもっと知りたい、取引先のこと知りたいという理由で活用している方もいますし、利用目的に「投資先の調査」と書く方も増えてきました。学生のOB訪問を受けるから、OpenWorkで自分以外の部署の情報を見て対応するという変わった使い方もあるようです。経営者も、人事の方も見ていますね。

西家:金融関係者も見てます(笑)。

本多:こうした「クチコミを見る」ということがもっと一般化してくると、クチコミで良い評価の会社には、良い人材がどんどん入ってきて、業績が上がるというように直接的な影響も出てくるでしょうし、それによってもっと有益なスコアになっていくと思います。

西家:働き方改革などにも活用してほしいですね。

――これからも広がりがありそうですね。今回は貴重なお話、ありがとうございました。

最終更新:9/9(月) 12:00
MONEYzine

こんな記事も読まれています

あなたにおすすめの記事