教員紹介：長尾　確（ながお かたし）

研究内容

私の（というか長尾研究室の）研究テーマは以下の３つに大きく分かれています。

VR（仮想現実）関連研究

VR関連研究の一つとして、ビルディングスケールVRという現実の屋内全域を仮想空間に変換し、日常環境を拡張して、さまざまな活動を行えるようにする技術について研究しています。例えば、現実の建物内で多様な災害状況を発生させて非常時の訓練を行うことができます。また、VRを用いたプレゼンテーショントレーニングや遠隔講義などの教育への応用についても研究しています。

ビルディングスケールVR

ビルディングスケールVRとは、実際の建物の屋内全域を仮想化し、その建物の屋内全域で人間の位置と向きを精度良く追跡可能にしたものです。

ビルディングスケールVRの要素技術には以下のものがあります。

  1. 実際の建物内の3次元形状を忠実に再現する3次元地図の作成技術
  2. 3次元地図を点群として自動的に仮想空間に表示する技術
  3. 建物内の全域を動き回る人間の姿勢（位置と向き）をトラッキングする技術
  4. 3次元地図上に移動可能なオブジェクトを配置したり、変形したりする技術
  5. 複数の人間を仮想空間上に表示し、現実と同じような情報を参加者全員が共有する技術
  6. 仮想空間においてオブジェクトを両手で操作するインタフェース技術
  7. 実世界の状況の変化をリアルタイムに仮想空間に反映させる技術
  8. 環境音や振動触覚を実世界対象のテクスチャなどから自動生成して仮想空間で提示する技術
  9. 仮想空間における複数の人間の行動や物理現象をシミュレーションする技術

ビルディングスケールVRの概念図は以下の通りです。

図１　ビルディングスケールVR

VR災害シミュレーション・トレーニングシステム

ビルディングスケールVRの典型的な応用例は、災害状況のシミュレーションとそれによるトレーニングです。災害状況に限らず、様々な危険状況をシミュレーションして、複数の人間に同時に体験させることができます。災害状況のシミュレーションでは、屋内にある対象物の移動や変形を行います。例えば、地震の場合は、家具が振動したり移動したりします。また、火災の場合は、家具が燃えて変形したりします。このようなシミュレーションのために、点群地図上に3Dモデルを配置して個別に操作できるようにしました。

VRプレゼンテーショントレーニングシステム

プレゼンテーションを仮想空間で行うことにはいくつかの利点があります。まず、遠隔からの参加であっても、目の前でプレゼンテーションを聞いているような効果が得られること、仮想空間ではすべての情報がデジタル化されているので、それらを記録して再現できること、観客を3次元モデル＋アニメーションで表現することで気軽にリハーサルができることなどです。また、ビルディングスケールVRを用いることで、現実の会議場と同じ状況でプレゼンテーションが行えます。

また、AIアバターを観客としてプレゼンテーションリハーサルを行い、そのプレゼンテーションを評価する仕組みを研究しています。プレゼンテーションはディスカッションと並んで、重要なスキルの一つですので、科学的に分析して効果的トレーニングできる必要があります。具体的には、プレゼンターの話し方、体や視線の動き、スライドの内容と指示動作などを解析しスコアを計算します。また、観客であるAIアバターのリアクションを、各アバターがそれぞれの観点で評価したプレゼンテーションの時間ごとの評価値に基づいて決定し、リアルタイムに表示します。

最近の出版物

  1. Katashi Nagao and Yuto Yokoyama, Cyber Trainground: Building-Scale Virtual Reality for Immersive Presentation Training, Proc. IEEE Cyber Science and Technology Congress, 2020. (Best Presentation Award)
  2. Yuto Yokoyama and Katashi Nagao, VR2ML: A Universal Recording and Machine Learning System for Improving Virtual Reality Experiences, Proc. IEEE VR 2020: the 27th IEEE Conference on Virtual Reality and 3D User Interfaces, March 22-26, 2020, Poster Presentation
  3. Katashi Nagao, Menglong Yang, Xu Cao, Yusuke Miyakawa, Building-Scale Virtual Reality: Another Way to Extend Real World, Proc. IEEE 2nd International Conference on Multimedia Information Processing and Retrieval. March 28-30, 2019. San Jose, CA, USA
  4. Katashi Nagao, Menglong Yang, Yusuke Miyakawa, Building-Scale Virtual Reality: Reconstruction and Modification of Building Interior Extends Real World, International Journal of Multimedia Data Engineering and Management (IJMDEM), Volume 10, Issue 1, Article 1, https://www.igi-global.com/article/building-scale-virtual-reality/232179, DOI: 10.4018/IJMDEM.2019010101

個人用知的移動体・パーソナルモビリティ関連研究

私たちの研究室では、2002年から個人用知的移動体に関する研究を行っています。個人用知的移動体とは、個人向けの知的な乗り物で、自動走行や障害物回避などが可能です。移動体のセンサーの死角から接近する移動障害物（主に人間）との衝突を回避するために、移動型センサー（自律移動ロボット）と連携する仕組みも実現しました。この研究の特徴は以下の通りです。

車椅子サイズの個人用移動体の知能化

自動車の自動運転の研究が盛んですが、私たちは、それよりも移動の粒度が小さい、個人に特化した乗り物をターゲットとしています。それは、屋内外両用の乗り物によって人間の生活をより密接に支援できるからです。自動車の自動運転は、人間に限らず物の効率的な移動に焦点が当てられるでしょう。個人用移動体も無人搬送などにも利用できますが、基本的には人間の細かい移動を支援するものです。また、拡張現実の技術も用いて、移動に伴う人間の情報処理（行き先で受けられるサービス内容の検索など）も支援されます。

移動体の連携と協調

自動走行中の移動体間の衝突を回避するためには、お互いの地図を共有し、位置情報を送り合う必要があります。それによってお互いの位置がわかり、それに合わせて経路を計算することができます。また、移動体間で連携することでお互いのセンサーの死角を補完し合うこともできます。私たちは、このやり方を応用して安全自動走行の仕組みを実現しました。

安全自動走行の実現

移動体の死角から接近する障害物を回避するためには、移動体とは別のセンサーが必要になります。私たちはこのために、小型で自律的に移動体を用意し、そのセンサーを利用することにしました。このときに、移動体間の連携・協調の仕組みが役に立ちます。無人移動体を適切に移動させるために、有人の移動体の走行経路を伝達し、その経路を先回りします。そのとき、特に注意を払うべき区間を注意区間と呼び、走行経路からその区間を自動的に発見する仕組みを実現しました。これによって、従来よりはるかに衝突の危険性を下げることができます。

以下の写真は私たちの開発した個人用知的移動体と遠隔センサーとしての自律移動ロボットが連携している様子です。

図２　個人用知的移動体と自律移動ロボットの連携

操縦者の直感的なユーザーインタフェース

自動走行中の操縦者は、特に操縦に関する動作を行う必要がないので、両手が空いているためジェスチャインタフェースを利用できます。また、3Dで地図などの情報を表示できるとより直感的に理解できます。そこで、拡張現実による3D表示とハンドジェスチャによる操作を実現しました。これによって、地図上で目的地を指定したり、走行中に経路や周辺の情報をインタラクティブにわかりやすく表示させることができます。

以下の図は、AR（拡張現実）による移動予定経路を背景と重ねて表示するインタフェースの例です。

図３　ARによる直感的インタフェース

最近の出版物

  1. Yusuke Mori and Katashi Nagao, Automatic Generation of Multidestination Routes for Autonomous Wheelchairs, Journal of Robotics and Mechatronics, Vol. 32, No. 6, pp. 1121-1136, 2020, DOI: 10.20965/jrm.2020.p1121 <https://www.fujipress.jp/jrm/rb/robot003200061121/>
  2. Menglong Yang and Katashi Nagao, Automatic Reconstruction of Building-Scale Indoor 3D Environment with a Deep-Reinforcement-Learning-Based Mobile Robot, International Journal of Robotics and Automation Technology, Vol. 6, pp. 11-23, 2019, DOI: 10.15377/2409-9694.2019.06.2

ディスカッション関連研究

長尾研究室では2003年から現在にかけて、研究室内のセミナーを記録して、様々な観点から分析を行っています。この研究は大きく分けて、2つの目的から成ります。一つは、人間同士のコミュニケーション（特にディスカッション）から再利用可能な知識および機械学習の手がかりを獲得すること（ディスカッションマイニング）で、もう一つは、人間のディスカッションのスキルを向上させる科学的な方法論を見つけること（ディスカッションスキルアナリティクス）です。

ディスカッションマイニング

ディスカッションは複数の人間による知識創造活動の一種です。それによって、人間は自分の考えを他者に伝え、他者から意見を引き出します。そのような相互作用に基づいて、人のアイディアは熟成されていきます。しかし、残念ながら、人間はそのようにして得られたアイディアを簡単に忘却してしまいます。そのため、ディスカッションを詳細に記録し、アイディアやその発展に寄与した意見を自動的に発見する仕組みを研究しています。

ディスカッションマイニングの一つの成果は、発言内容にこれから解決すべき課題が含まれている発言（課題発言）を議事録から自動的に発見する仕組みです。これは、まだ画像や音声などのパターン情報を使っていないため、ロジスティック回帰分析という一般的な機械学習手法を用いています。その説明変数には、ディスカッションマイニング技術で得られた構造化議事録に含まれる様々な特徴（発言者や発言間の関係）を利用しています。

さらに、最近では音声を入力として、発言の要約文を生成する実験を始めています。これは、認識エラーを含む音声認識結果とスライド等の資料の内容から得られた特徴を説明変数として生成型のディープラーニングを行うものです。音声認識が100％成功して書き起こしが完成しても議事録として利用するのには適切ではありません。また、音声認識は未だに100％の精度を達成できていません。そのため、ノイズを含む音声認識結果から正確で簡潔な文を生成することには大きな意義があります。そのためには、やはり機械学習が役に立ちます。

以下の図は、ディスカッションマイニングのために設計したディスカッションスペースやそのためのデバイスと構造化されたディスカッションの内容を閲覧するためのディスカッションブラウザです。

図４　ディスカッションマイニングシステム

ディスカッションスキルアナリティクス

学生のディスカッションスキルを評価し、その向上を支援するために、私たちは以下の研究に取り組んでいます。

  • 音声・音響・言語的特徴に基づいて、ディスカッションにおける発言の適切さを評価する
  • 心拍などの精神生理学的情報に基づいて、質疑応答における応答の適切さを評価する
  • ゲーミフィケーションの仕組みを用いて、ディスカッション参加者の動機付けを強化する

ゲーミフィケーションでは、ディスカッション参加者の相互評価によってディスカッションスキルを評価し競い合うことでスキル向上を目指します。私たちは、この枠組みをゲーミファイドディスカッションと呼んでいます。ディスカッションスキルを評価するために、まず発言の音響的特徴を評価します。これは、ディスカッション開始と同時に実施し、実時間で評価を決定します。

最近の出版物

  1. Katashi Nagao, Kosuke Okamoto, Shimeng Peng, Shigeki Ohira, Discussion-skill Analytics with Acoustic, Linguistic and Psychophysiological Data, Proc. 11th International Conference on Knowledge Discovery and Information Retrieval (KDIR 2019) , 2019.
  2. Katashi Nagao, Artificial Intelligence Accelerates Human Learning: Discussion Data Analytics, Springer Nature Singapore Pte Ltd., 2019, DOI 10.1007/978-981-13-6175-3, ISBN 978-981-13-6174-6
  3. Shimeng Peng, Shigeki Ohira, Katashi Nagao, Automatic Evaluation of Students’ Discussion Skill Based on their Heart Rate. Computer Supported Education, Vol. 1022, pp. 572-585. Springer, 2018.
  4. 長尾確『ディスカッションを科学する―人間と人工知能の共生』, 慶應義塾大学出版会, 2018.

所属・連絡先など

  • 知能システム学専攻／フィールド知能情報学講座
  • e-mail: nagao[at]i.nagoya-u.ac.jp

知能システム学専攻教員紹介, 知能システム学専攻, コンピュータ科学科

Posted by 長尾 確