情報玉手箱

  • ホーム
  • 特集
    • サイエンス・ウィズ・情報
    • 弱きを助ける情報学
    • 情報システム学とセキュリティ
    • 情報学の研究者たちの喜怒哀楽
    • 最適化技術の応用・実践
    • 見えない現象を見える化する
    • 身体の情報処理がこころをつくる
    • 情報学と名大スパコン不老
    • 情報学と自然言語処理
    • 新型コロナと情報
  • 情報玉手箱とは
  • Menu

  • Sidebar

  • Prev

  • Next

  • Search

  1. ホーム>
  2. 未分類

感性・触覚の見える化

私は幼稚園の近くに住んでいます。朝になると元気な園児のみなさんの声が聞こえてきます「せんせい,おはよーございまーす!」。おもむろにラジオをつけると,落ち着いたアナウサーの声が流れてきます「おはようございます」。園児のみなさんの「おはようございます」と,アナウサーの「おはようございます」どちらも“意味”は同じです。ですが、わたしは園児のみなさんからは「元気」を感じ,アナウサーからは「落ち着き」をかんじました。つまり,意味は同じでも心に感じ取った感覚は異なるのです。物事を心に感じとる働きを「感性」といいます。

かん‐せい【感性】
1 物事を心に深く感じ取る働き。感受性。「感性が鋭い」「豊かな感性」

weblio 辞書

感性の見える化〜触譜

園児のみなさんの「おはようございます」から,なぜ「元気」を感じるのでしょうか?熟練のアナウサーの「おはようございます」とどこが違うのでしょう?その違いとは「言い方」です。言い方は声の高さや大きさで特徴づけられますが,「声の大きさ」で特徴づけてみます。

園児の「おはよーございまーす」を思い返してみると,次第に声が大きくなっています。そこで「声の大きさ」の変化を楽譜を流用して記述してみましょう。五線譜(楽譜)では,上にいくほど高い,下にいくほど低い音をあらわします。そこで,真ん中の線(第3線)を「普通」の大きさとして,下にいくほどに「大きい」,上にいくほどの「小さい」音量をあらわすことにします。また,「言い方のリズム」は音符をそのまま流用します(図1)。

図1 触譜, Tactile Score

これで声の大きさの変化を譜面で記述することで「元気」な言い方を記述することができました。この譜面のことを触譜[1]といいます。図1の”元気の触譜”をつかうと,ほかの言い方を元気にする,ことができます。たとえば「いらっしゃいませ」や「こんにちは」を“次第に声の音量を大きくするように”言ってみましょう。逆に,”次第に声の音量を小さくする”ように言ってみたらどうでしょう?消え入るような”おはようございます”や”いらっしゃいませ”からは「元気がない」印象をうけます。”元気のない言いかた”を触譜で書くと図1を左右反転させたような触譜になります。

触譜とは「触覚の譜面」なのでは?

以上では,言い方の感性の記述のために触譜をつかいました。でも,触譜って「触覚の譜面」みたいな名前ですよね。そうなのです。触譜は最初,マッサージのように時間変化する触覚,を記述するために提案しました。ですから(特殊記号が必要ですが)触譜でマッサージを採譜することもできますし,その触譜をつかって実際にマッサージをすることもできます。

「平家物語」の感性・ 触覚を見える化 する?

触譜をつかって「平家物語」の感性・触覚を抽出してみました。平家物語の冒頭部「祇園精舎の鐘の声..」をまず意味単位に分割(*)して,意味単位に含まれる母音の数を数えました。意味単位に含まれる母音の数の平均を”普通の強さ”として,平均値より母音数が少なければ「弱い」,多ければ「強い」とすることで触譜にしてみました [2]。この作品では,この方法で平家物語から触譜を抽出し,その触譜をつかってマッサージをしています(ビデオの後半でマッサージの下に表示されているのが触譜です)。

図2 上左:平家物語(冒頭) 上右:触譜(別表記),中:触譜: 下:英訳版の触譜

図2の上段右がビデオで少し写っている触譜です。それと同じものが中段にある触譜です。きれいなリズムになっているのがわかります。そして下段は英訳版の平家物語です。意味的に同じなるように翻訳されているのですが,リズムが原典の日本語版と大きく異なっていることがわかります。平家物語は吟遊詩人が節をつけて謡い伝承されてきたそうですが,英語に翻訳してしまうと原典のリズムが失われているのがわかります。

リズムが失われたのは英語だからでしょうか?坂本九さんの「上を向いて歩こう」は1961年の大ヒット曲ですが,英語版も1963年にBillbord誌で3週連続1位になるなど,米国でも大ヒットしました。後に,複数の米国のアーティストが「上を向いて歩こう」をカバーしています。そこで,原典の日本語版「上を向いて歩こう」と,英訳版「Sukiyaki Song」の歌詞を触譜に変換して比較してみました(図3)。

図3: 上:原典(日本語版)「上を向いて歩こう」冒頭部の歌詞の触譜,下:英語版(4PMによる)「Sukiyaki Song」冒頭部の歌詞の触譜

図3にあるように,強さは日本語版と英語版で異なっていますが,リズムは一致しています。日本語版の歌詞の感性が,英語に翻訳しても残っていることがわかります。英語版の歌詞を読んでみると,日本語の歌詞の直訳にはなっていません。翻訳をなさった方が日本語版の歌詞の感性を,うまく写しとったのだろうと思います。

触質

触覚には重要な要素がいくつかありますが,最も重要とされているのが「硬さ」,次に重要とされているのが「粗さ」です。これらの性質は”触質”とよばれています。この触質を触譜で記述することはできないでしょうか?

2種類の”バネ”を思い浮かべてみてください: がっちりした「硬いバネ」と「柔らかいバネ」。同じ力でこれらのバネを押し引きした場合,柔らかいバネのほうが伸び縮みは大きくなります(弾性力の違い)。そこで,大きさの変化が少ない触譜を「硬い」,変化が大きい触譜を「柔らかい」とします(図4)。これを”おはようございます”の言いかただとすると,「硬い」とは「抑揚がない」言いかた,「柔らかい」とは「抑揚に富んだ」言いかたになります。

図4:触譜で記述する触質〜硬さ

これで最も重要な触質である「硬さ」を触譜で記述できました。残るは「粗さ」です。粗さは「硬さ」をつかって,硬さの変化が少ない場合を「滑らか」,硬さの変化が大きい場合を「粗い」とします。公園の芝生の上を歩いているとして,もし,硬さが一定だったら「滑らか」に感じますし,(芝生が伸びすぎて)フカフカのところや,(芝生がはげていて)ゴツゴツしたところが入り乱れていたら「粗く」かんじます (図5)。

図5:触譜で記述する触質〜粗さ

ここまでで,触譜をつかって「時間変化する触覚」と触質が記述・見える化できるようになりました。「ちょっと待って!感性はどこにいったの?」

図6:触覚相互作用

ここまで”触覚”とその相互作用について触れてきませんでした。ざっくりと申し上げて,触覚は自然界に共通した相互作用です。図6では左から右に向かって分子・細胞から動物の触覚相互作用の例を並べています。触覚相互作用は「言語・ロジック・データ(Logos)」を伝えているのでしょうか?人間の場合,犬や猫と戯れあったり,ハグして喜びを分かち合う,触覚相互作用は「心に感じ取る心の動き」つまり”感性”(pathos)を伝え合っています。触覚とは感性を伝えるメディアです。触譜とは触覚の記述であり,また,感性(もしくは”感性を惹起させる触覚刺激)の記述でもあるのです[4]。

感性・触覚を見える化するとなにができるのか?2つの応用例をお示ししましょう。

データの「触覚」を見える化?〜データ科学への応用

時系列データの大きさを強さと読み替えることで,どんな時系列データでも”ある種の触譜”とみなすことができます。なので,データから触質を抽出することも可能となります。

図7:データの触質 左:COVID19 PCR陽性者(日本), 右 ニューヨーク証券取引所(終値) 1998-2009

図7の左は新型コロナウィルスのPCR陽性者の時系列,右はニューヨーク証券取引所の終値のデータ(1998年-2009年)です。新型コロナの場合,第3波と第4波は時系列的には似ているようにみえますが,第4波では「粗さ」が大きくなっています。データの触覚的性質として第3波と第4波は質的に異なるのかもしれません。

一方,ニューヨーク証券取引所の10年間のデータでは1回だけ,硬さと粗さが,共に著しく高くなっている時期があります(図5右,赤枠部)。図7右の一番上に示した時系列で,赤い吹き出しで示しているところがありますが,これが「リーマンショック」直前で,その後,株価は低迷を続けることになります。リーマンショックの直前には「データの触覚」として,普通ではないこと,が起きていたようです。

演奏法の見える化

ピアノは鍵盤を押すとそれがそのまま音になります。バイオリンやトランペットのように,出した音をあとから調整することができません。では,ピアノの演奏とはどれも同じようなものか?もちろんそんなことはなく,同じ曲であっても,ピアニストによって曲の印象が大きくことなります。ピアノ演奏に違いを生み出す大きな要素が”触覚”です。よく「ピアノのタッチ」と表現します。タッチには”触覚”の意味が含まれます。ピアノの音とは,この表現のとおり触覚の音であるとも言えるでしょう。

同じ曲(ショパンの英雄ポロネーズ)を2人のピアニストが演奏した場合,演奏音のデータを触譜(時系列データですから触譜と読み替えられるのです)とみなし,数秒間づつ区切って,硬さと粗さを計測してプロットしてみましょう(図8)。

図8:A.ルービンシュタイン(右)とS.ブーニン(左)による,英雄ポロネーズ(F.ショパン)の演奏音の触質分析。波形は冒頭の数秒間の音響波形

A.ルービンシュタインとS.ブーニンの演奏音の触質を比較してみました(図8). ルービンシュタインは名人上手の代表のようなピアニストで,一方,ブーニンはそれまでの常識を打ち破る革新的な演奏で世間をアッと言わせました。実際の演奏を聞いてみると「違う!」と感じるのですが,それを,見える化,してみると,ブーニンの演奏はルービンシュタインにくらべて”柔らかく”,そして”粗い(硬軟のパターンが複雑)”なことがわかります。

おわりに

さて,ここまで「感性・触覚の見える化」について,これまでの取り組みからいくつかご紹介しました。感性は人によって異なるので,感性を感性に訴えるような方向だと,なかなか研究を進めていくことが難しいです。とりくむ対象が感性的であればあるほどに,その合理的な数量化・定量化が重要,になると思っています。

触覚は古くて新しい課題でさまざまな研究が行われておりますが,本稿でご紹介した時間変化する触覚(触譜)や,ご紹介できませんでしたが,間接触覚(超低周波音による)などについては知見がほとんどありません。たとえば,私どもが研究している間接触覚(Deep Micro Vibrotactile, DMV)は認知症の新しい治療法として注目されつつある,ガンマー帯域神経刺激と深い関係があります。この治療法は米国のマサチューセッツ工科大学(蔡 教授らのチーム)が,治験開始を見据えて精力的に研究プロジェクトを進めています。一方,私どもは秋田大学 高齢者医療先端研究センターの大田秀隆教授・センター長とデザインされた間接触覚(DMV)の認知症適用の臨床研究をすすめています。最初は少数の患者様から始めましたが,医療機関や自治体のご厚意で症例数が増えてきました。現在のところ,認知機能の改善(作業記憶の改善など)が確認されています[3]。

本研究プロジェクトは,私だけではとてもできず,大学・研究機関,医療機関,企業,自治体の皆様に支えていただいております。この場をお借りして,厚く御礼を申し上げます。また,拙稿をお読みいただいて,もしご興味をもっていただけましたら,ぜひ!お気軽にお声がけください。お読みいただき,誠にありがとうございました。

参考文献

[1] Yasuhiro Suzuki and Rieko Suzuki, (2014) Tactile score: a knowledge media for tactile sense. Springer Japan, 2014.

[2]Yasuhiro Suzuki, Rieko Suzuki, and Junji Watanabe, (2014), Translation from text to touch: touching a “Japanese old tale”. In ACM CHI ’14 Extended Abstracts on Human Factors in Computing Systems (CHI EA ’14). Association for Computing Machinery, New York, NY, USA, 685–694.

[3]Kodama, A., Suzuki, Y., Kume, Y., & Ota, H. (2021). Examination of the effect of Deep Micro Vibrotactile stimulation on cognitive function for elderly with Alzheimer’s Disease. Annals of Alzheimer’s and Dementia Care, 5(1), 001-003.

[4] Suzuki, Yasuhiro, (2020), “Tactileology, an innovative academic field in the tactile sense, based on Non-PC Computing Systems by using the Universal language in Nature.” Impact 2020.1 (2020): 12-17.

鈴木泰博 情報学研究科複雑系科学専攻

2021年10月4日未分類感性・触覚情報学, 触譜, データ科学, 見える化特集, 触覚, 触覚情報学

Posted by ysuzuki@i.nagoya-u.ac.jp

見る触覚センサ
Next
ミニ特集「見えない現象を見える化する」の趣旨と概要
Prev

関連記事

No Image

見る触覚センサ

はじめに 本稿では、「触覚の見える化」について解説したい。視覚と触覚はかけ離れて ...

No Image

教員紹介:鈴木 泰博(すずき やすひろ)

研究内容 感性・触覚情報学:これまでの情報技術・人工知能では論理やデータをもとに ...

No Image

実験できない現象をコンピュータの中で実現する:形状最適化と逆問題

はじめに 実際に見たり感じたりすることのできる現象であれば,実験で再現することが ...

No Image

ミニ特集「情報学と自然言語処理」:オープンサイエンスと自然言語処理

はじめに オープンサイエンスは、あらゆる研究分野に関わる学際的活動であり、その推 ...

No Image

流体の流れ,物の流れ,情報の流れを可視化する

流体の流れを可視化する 朝の散歩で感じる風の流れが季節に変化を感じる人もいるでし ...

タグ

アルゴリズム イベント案内・報告 グローバルメディア研究センター ゲノム コンピュータ科学科 プログラム検証 プログラム逆化 メタヒューリスティクス 人間・社会情報学科 仮想生物 価値創造研究センター 可逆計算 学会発表 心理・認知科学専攻 心理・認知科学系 情報システム学専攻 情報システム系 教員紹介 数理情報学専攻 数理情報系 海外派遣助成 海外渡航 生物リズム 知能システム学専攻 知能システム系 研究グループ紹介 社会情報学専攻 社会情報系 組合せ最適化 組込みシステム研究センター 自然情報学科 著作物紹介 複雑システム系 複雑系科学 複雑系科学専攻 複雑系計算論 複雑系計算論講座 触覚のVR 触覚センサ 触覚ロボット 計算モデル 認知科学 進化 項書換え系 鳥の歌

Copyright © 2023 情報玉手箱 All Rights Reserved.

WordPress Luxeritas Theme is provided by "Thought is free".

PAGE TOP