顔と表情の感性計測(1)

早稲田大学人間総合研究センター
招聘研究員 菅原 徹

 感性工学とは、人の心の仕組みを知り、心の形を学び、心の喜ぶもの創りをサポートすることを目的とした学問である。あいまいな感性の定量化、見えにくい心の状態の可視化など、これまで工学が取り扱わなかった領域に挑戦している。筆者は20年以上、顔の魅力と表情の定量化に関する感性工学研究を続けてきた。それは、顔が心の鏡、心の情報掲示板と呼ばれるためである。30種類以上の顔面の筋肉は心情を反映した表情をつくりだし、見るものに対して多様な感性情報を発信している。また、表情の変化、つまり表情筋活動は私たちの脳活動に大きく作用する。『幸せだから笑うのではなく、笑うから幸せになれる。』心理学者ウィリアムス・ジェームスが残した金言がそれを表している。
顔の内側と外側、表情のメカニズムと変化からどのようなことが読み取れるのか。顔、表情の定量的分析の代表例として、顔の特徴情報を分析し感情を定量化する研究と、表情筋の筋力トレーニング効果の検証を行った研究を紹介したい。

1.「顔に残る感情の足跡」を測る

1.1 はじめに
 「顔は人生の履歴書である。」「顔には、生き様が表れる。」というが、それは、人が何を感じて、どう行動するかが結果として顔に表れるということだ。感情や思考が顔つきや表情に出て、顔貌に刻まれるということである。
 そこで、本研究では感情や思考が表情に出ると、どのように顔立ちや印象に影響するのかを検討した。短期的な視点として、感情保持と表情がニュートラルな顔立ち(真顔)と笑顔に与える影響について明らかにすることを目的とした。「Neutral(中立)」の真顔に表出する感情成分、「Happy(幸福)」、「Angry(怒り)」、「Sad(悲しみ)」、「Surprised(驚き)」、「Scared(恐れ)」、「Disgusted(嫌悪)」を定量的に扱い可視化するために、FACS(Facial Action Coding System)理論をベースに開発された表情分析ツール・フェイスリーダー6.0(ノルダス社製)[1][2] を採用した。
 表情研究の道を開いたEkman&Frisen(1978)は顔に針電極を刺し、不明瞭な筋肉の動きを確認して、表情の動きを顔面上の機能的単位(Action Unit:AU)で表現することを試みた[3]。筋肉の動きでつくられる44のAUの組み合わせによって表情を評価する手法がFACSといわれる。例えばFACSによって笑顔は、AU6(頬を持ち上げる)とAU12(唇の端を水平に引く)の組み合わせで記述される。

2. 方法

2.1 実験手順
 健康な40代~60代の成人女性18名を対象とし、下記の手順で実験を行った。
 はじめに、課題表情(嫌悪、微笑み、笑顔)の練習と表情写真の撮影を行い、実験手順の説明後に深呼吸、検者との対話でリラックス状態をつくった。真顔の動画撮影(30秒)、随意的な笑顔の動画撮影(15秒)を行った。つぎに被験者は不快シーンの想起と嫌悪の表情を3分間持続し、続けて真顔の動画撮影(30秒)、最後に随意的な笑顔の動画撮影(15秒)を行った。同様に、快シーンを想起して微笑みを3分間持続し、真顔の動画撮影(30秒)、随意的な笑顔の動画撮影(15秒)を行った。快と不快の感情想起と表情形成の課題は被験者ごとに順序を変え、課題に対するインタビューも行った。

2.2 分析ツール
 表情を読み取り感情要素に定量化する「フェイスリーダー」(FaceReader6.0/ノルダス社製)はFACSを基に表情の種類と強度の算定が可能である。顔面内の特徴点、491ポイントを特定して、表情に伴う顔の動きの最小単位となるAUの組み合わせから、「Happy(幸福/笑顔)」、「Angry(怒り)」、「Sad(悲しみ)」、「Surprised(驚き)」、「Scared(恐怖)」、「Disgusted(嫌悪)」そして「Neutral(中立)」の7つの感情要素を判定する(図1)。

図1: フェイスリーダーを用いた表情の分析

 分析方法は、動画をキャプチャしてJPG画像として保存し、リラックス後の真顔、嫌悪後の真顔、微笑み後の真顔と笑顔の平均顔画像を作成した。なお平均顔画像は、すべての被験者18名のパターンと評定者3名が顔印象の違いを共通して認めた被験者7名のパターンを用意した(図2)。これら平均顔画像をフェイスリーダーにかけ、真顔、笑顔ごとの各感情成分を可視化、違いを比較することとした。

図2: 真顔と笑顔の平均顔
(左:18名の平均顔画像、右:7名の平均顔画像)

2.3 結果
 7名の平均顔画像をフェイスリーダーで比較すると、不快感情後の真顔にはAngryという成分が10%検出された(図3)。不快感情後の笑顔はHappy成分が53%であり、リラックス後の笑顔の89%、快感情後の笑顔の89%より低い値を示した。また、18名の平均顔画像を基にした分析では、不快感情後の笑顔にScaredの成分が6%確認できた(図4)。
 不快感情と表情を保持した場合は、その後の真顔や笑顔にも不快感が表出され、一方で快感情と表情を保持した場合は、その後の真顔や笑顔にも快感情が表出されることがわかった。同じ真顔でも直前で保持した感情や表情によって、真顔から抽出される感情成分が変動することがわかった[4]

図3: 真顔に残る感情の足跡/不快後に悲しみが増加し怒りが表出
図4:  笑顔に残る感情の足跡/不快後に幸せが減り恐れが表出

2.4 考察
 不快な感情を保持し、表情として出る(眉間にシワを寄せる)場合、皺眉筋や鼻根筋、上唇鼻翼挙筋、上唇挙筋の筋緊張が持続することが予想される。この後、意識的に真顔に戻った場合、筋緊張が残ることにより、顔印象が低下する可能性がある。一方で、快感情を保持し、口角を左右に広げて微笑んだ場合は、頬骨筋、笑筋、頬筋が緊張し、真顔の形成時には頬部の筋緊張がリフトアップという形で残ることで好印象を与えることが予想される。
 人は日常生活において、感情や表情をそのまま出すのではなく、立場や環境に応じて、感情を抑えたり出したりしている。この長い繰り返しにより、生き様が顔に表れるのであれば、感情の出し方や付き合い方が人生の顔立ちに影響するといえる。


次回に続く-

参考文献

[1] ノルダス社・ホームページ,http://www.noldus.com/(2020年6月閲覧)

[2] 株式会社ソフィアサイエンティフィック・ホームページ,http://www.sophia-scientific.co.jp/(2020年6月閲覧)

[3] Ekman, P., Frisen, W.V.,The facial action coding system(FACS): A technique for the measurement of facial action, Consulting Psychologists Press(1978)

[4] M.Miyazaki, T.Sugahara, N.Orihara,S.Umezawa,Footprint of Emotions that Remain in Facial Features:The influence of emotion and facial expression is given to the complexion, 5th Intl Conf on Applied Computing and Information Technology/4th Intl Conf on Computational Science/Intelligence and Applied Informatics/2nd Intl Conf on Big Data, Cloud Computing, Data Science & Engineering,179-183(2017)



【著者紹介】
菅原 徹(すがはら とおる)
早稲田大学人間総合研究センター 招聘研究員、 博士(工学)

■略歴
2005年 信州大学大学院 工学系研究科博士後期課程生物機能工学専攻 修了
2008年 早稲田大学 人間科学学術院(人間科学部人間情報科学科) 助手
2010年 人間総合科学大学 人間科学部人間科学科 助教
2011年 早稲田大学 人間総合研究センター 招聘研究員
現在に至る

■専門分野
感性工学、魅力工学、感情・人格心理学、スポーツ心理学

■学会活動
スマイルサイエンス学会 代表理事(2013-)
可視化情報学会 可視化アートコンテストオーガナイザー(2015-)
日本感性工学会 評議員(2018-)