左から、凸版印刷の鈴木さんと佐々木さん、シーエーシーの丹治さんと福田さん
「顔認識技術」はすっかり身近なものになった。センサーが捉えた映像から顔の位置を検出し、その部分にピントを合わせてくれるこの機能は、デジカメやスマートフォンに当たり前のように搭載されているが、実はその歴史は長い。概念としては1960年から存在しており、90年代に入ってから積極的に研究開発が進められてきた。
2007年には口角の角度などから笑顔を認識してシャッターを切るデジカメが開発され、2010年には顔のパーツの位置関係や形状から、画像による人物検索を実現する写真管理アプリが登場した。最近では顔認証＆電子決済で買い物ができる無人コンビニや、性別・年齢の検出や人物としての傾向も判別する監視カメラの実現など、技術の精度は年々高まっている。
このような顔認識技術は、やがて私たちのコミュニケーションをも変えてしまうかもしれない。その可能性を持つのが、顔認識技術を応用したことで生まれた、表情の傾向から感情を読み取るAIだ。たとえば、2017年6月10日・11日および6月24日・25日に、東京都議会議員選挙PRイベントで公開された、感情認識テクノロジーを使用した、2つの体験型コンテンツがそれに当たる。
1つはカメラの前の人物が笑顔を浮かべると笑顔でいた時間を計測、投票数が蓄積されていく「笑顔投票所」。
もう1つは喜び・驚きの表情をカメラに向かってみせると、同イベントのポスターのなかに映し出されるという「ミニポスタースタジオ」。
いずれも表情の種類・感情の傾向を読み取る感情AIを用いたものだ。その仕掛け人が、大手の総合印刷会社である凸版印刷と、情報ソリューションやロボティクス、AI分野のサービスを提供しているシーエーシーだ。「選挙」という言葉にしにくい面のあるテーマのPRとして、言葉にならない「喜怒哀楽」を把握するという試みは、非常に示唆に富む。なぜ凸版印刷とシーエーシーはこのような企画に取り組んだのだろうか。
凸版印刷から鈴木晴之さんと佐々木冴子さん、シーエーシーから丹治由佳さんと福田健児さんに、今回のプロモーションについて話を聞いた。
常に新しい技術をプロモーション領域で活用する総合印刷会社を目指して
（画像提供：凸版印刷）
――凸版印刷は印刷テクノロジーのみならず、セキュリティやマーケティング、コンテンツ、環境エネルギー、半導体など、幅広い分野の事業を手がけていますね。
鈴木 私たちはもともと印刷会社ではあるのですが「プロモーション領域に新しい技術を持ってこられないのか」というのは、常に模索しています。印刷だけの凸版ではなくて、凸版印刷に頼めば、印刷もプロモーションも最新技術も含めて総合的なご提案をします、というのを目標にし、強化しています。
――その1つにAIがあった、と。
鈴木 もともと、僕の上司がロボットに使われるセンサー技術やAI技術、それらを使ってどのようにコミュニケーションをしていくのか、というところに興味をもって、普段から情報収集をしていたんですね。そこで見つけたのがコミュニケーションロボット「Jibo（ジーボ）」でした。このロボットには、今回のプロジェクトで用いたアメリカのアフェクティバ社が開発した感情AIが採用されていることをシーエーシーさんに紹介いただきまして、これは何かに使えそうだな、と。どのように活用していくのかを一緒に考えていきました。
丹治 アフェクティバにはシーエーシーのグループ会社が出資していて、シーエーシーは国内で唯一の販売代理店契約を締結しています。そこで、凸版印刷さんと、一緒に何か協業できないかとお話しまして。
佐々木 都議選PRイベントの提案はコンペ形式だったんです。他社の提案では「もっと都政に関心を持とう」といった真面目な雰囲気の提案があった中で、私たちは純粋に「投票に行こう！」という企画にしたというのが、採用のポイントの1つになったそうです。凸版の提案が「一番明るかった」ということでした。
――「選挙をもっと楽しませたい」というのがテーマだったのですか？
佐々木 選挙が楽しいというよりは、その先ですね。選挙によって選ばれるべき「本当に明るい未来」というのを、どう実現するのかを考えていました。感情AIを使えば笑顔を読み取れますし、コンセプトにぴったりなので、都議選PRイベントのコンテンツにしたという次第です。
感情の種類とその強さも測定できる！ アフェクティバのAI
――欧米人と日本人とでは、顔の傾向が違うと思うのですが、読み取れる表情・感情の精度に差があるなど、海外製のAIエンジンを使うに当たって難しかった点はありますか？
福田 アフェクティバの技術は、フェイシャルアクションコーディングシステム(FACS)という万国共通の表情理論に基づいた技術です。日本人だから読み取りにくいということは、理論的にはありません。日本人は欧米人と比較して、周囲に人がいると表情を出しにくいという傾向はありますが、表情そのものは人類共通ですね。
鈴木 600万人ぐらいのビッグデータをもとに、感情の判別データが作られています。その大多数は海外の方の顔データですが、日本人も6万人弱くらいのデータが集まっています。それらをベースに、日本人特有の表情も分析しています。
丹治 全部で34カ所の顔のポイントを計測し、表情筋の動きをコード化しているんです。つまり、顔のどの部分の筋肉が、どのくらいの強さで動くのかというのを、すべて細かく数値化していくのがFACSの仕組みです。
――判別できる感情は何種類ぐらいあるんでしょうか？
丹治 現在は、感情が怒り・悲しみ・憎しみ・喜び・驚き・恐怖・軽蔑の7種類、表情が21種類。加えて2種類の特殊な指標も用いています。1つは「ヴァレンス（Valence）」。表情がポジティブな表情なのか、ネガティブな表情なのかを判定する基準になります。もう1つが「エンゲージメント（Engagement）」。どれくらい強くその感情を出しているか、豊かに出しているかを測る指標です。
鈴木 都議選PRイベントの時は、喜びと驚きという感情をトリガーとして、投票したり写真が撮れたりするアトラクションを作りました。
――表情の豊かさの数値化ができるとしたら、たとえばテレビに出ている芸能人の表情のバリエーションなども測れるのでしょうか？
鈴木 常時計測するのであれば、普段からよく目が開くとか笑うとか、逆に日常的ではない表情が出たときには、めずらしいといった判定ができるかもしれませんね。
福田 そうですね。すごく変化しているな、っていうのは調べられるかな、と。
鈴木 現在は「おいしいものを食べたときの表情」といった、特定のシチュエーションでの表情を独自に定義し計測するなど、新たなノウハウをためています。口角や目尻の広がり具合などを読み込んで、その人がどれくらいおいしいと感じているかをスコア化できることを生かしたプロモーション手法を考えています。
計測時間は瞬間的！ 移り変わる感情もトラッキング
――アトラクションに組み込むデバイスやソフトウェアの開発中、動作のベータテストはどのように行われたのですか？
鈴木 1月から本格的にデモ制作を開始し、2月末に最初のデモが出来ました。テスト時にいろんな表情をするようになったので、今では表情筋がかなり鍛えられて、7つの表情が自由自在に出せるようになったと自負しています（笑）。それはシーエーシーさんも同じじゃないですか？
丹治 うちの関係者もそうですね。表情筋がどんどん鍛えられて、みんな小顔になったかもしれません（笑）
鈴木 テストを続けた結果、恐れの表情はなかなか出しにくいとか、怒りと悲しみの表情って、実は紙一重だとか、そういう「表情の仕組み」がわかってきました。
――「感情」という、コントロールしにくいものを扱う上での苦労などはありましたか？
丹治 みなさん、笑顔のようなポジティブな表情を出すのは、スムーズなんです。一方、都議選PRイベントでも取り入れた驚きの表情は、出すのが難しいと感じる方もいらっしゃるようでして。
鈴木 ずっと驚いた顔をするのって、難しいんですよ。普通は一瞬じゃないですか。慣れていないと、「驚いてる顔をしなきゃ」と自分に言い聞かせていることに笑っちゃったり。
丹治 そうですね。笑顔になっちゃうんです。
鈴木 せっかくなので、感情AIを体験してもらいましょうか。眼鏡をかけていても大丈夫です。にこって笑うと喜びになりますよね。顔をしかめ面にするとわりとネガティブな反応になったりとか。リアルタイムで測定できます。
ちょっとした表情の動きを捉え、AIによる感情の判定結果は瞬く間に移り変わる
――表情を変えた瞬間に、感情の判別が切り替わりますね！ 速いです！
福田 動画データ自体は30fpsほどと、割と速い速度で取得できるのですが、描画のほうが間に合わないので、その3分の1の10fpsくらいで描画しながら分析をしています。たとえば、心拍数など人間のバイタルサインをグラフ化すると、かなりギザギザした変動がありますよね。実は笑顔も同様で、“笑顔の形”は一定ではないんです。微細な変動を繰り返しながら口角が上がっている、目が閉じている、下顎が落ちているといった状態を、リアルタイムで分析しています。
――おぉ、わざと笑い続けていると、作り笑いをしていることに疑問を感じてきて、笑顔の強度を示すスコアがどんどん変わっていきますね。
鈴木 しばらく試したくなりますよね。このAIを応用すれば、たとえば接客業の方が「感情AIでトレーニングをした後に現場に出ると、接客の質が上がる」といった、使い道も考えられます。
「作り笑顔」でもポジティブな思考につながっていく
――それにしても、カメラの前で感情をさらけ出すというのは、なかなか難しいですね。感情AIに「いい笑顔」と判定してもらえるような笑顔の作り方を教えてください。
丹治 笑顔の作り方は人それぞれだと思うんですが、やはり口角を上げて笑っていただくと、一番点数が上がりやすいというか、AIが反応しやすいですね。
――それはつまり「他人に楽しいといった気持ちを伝えることができる」ということになるのでしょうか。
丹治 「一番わかりやすく喜びを表現できている」というイメージですかね。
鈴木 口角をあげるっていうのがプラスポイントだとすると、眉を下げるっていうのはマイナスのポイントに設定されています。
福田 あと、厳密に言うと「スマイル（笑顔）」と「ジョイ（喜び）」は少し違っているんです。スマイルは純粋に口角が上がっているいわゆる笑顔の形なのですが、ジョイは目尻の一部にシワができるだとか、本当に心からの笑顔というのがわかる仕様になっています。
――もともとの眉毛が下がり気味だったりとか、メイクで上げて描いたりすると、結果は変わるのでしょうか？
丹治 変わりますね。
――なるほど。人の目で見ても、メイクで印象が大きく左右されることってありますからね。
鈴木 表情って本当に奥が深くて。目の前にいる相手に与える印象だけではなく、自分にも影響を与えるんです。
シーエーシーさんから教えてもらって、驚いたアメリカの事例なのですが、あるチョコレート屋さんが店頭で、笑ったらチョコレートのサンプルをプレゼントする企画でアフェクティバを使いました。その結果を調査したところ、作り笑いでも気持ちはポジティブなほうに動くらしくて。そのポジティブな気持ちのまま商品に接すると、商品に対しても好印象を抱くようになったそうです。
――「から元気を出していたら、いつの間にか元気になる」みたいな。
鈴木 だから、あえて笑顔を作ることで、ポジティブになってもらう。今回の都議選も選挙に対して、ポジティブな印象を持っていただくこともできたんじゃないかと思っています。結果的に投票率も上がりました（笑）
佐々木 もちろん、このイベントの影響だけではないと思いますが、確かに上がりました。
――それはいい刷り込みですね。
鈴木 そんな作用があるかもってことは、いま気がついたのですが（笑）
執筆：武者良太 編集：ノオト
本稿は2017年12月28日、HRナビに掲載された記事です。