マスター・リモートシステム
マルチモーダル生体情報を用いたハイブリッド制御による日常生活支援
課題
神経筋疾患などで身体の自由を失った人の自立支援。単一入力や完全自律では、残存機能の多様性や日内変動に対応しにくい。
アプローチ
視線・生体電位・音声・タッチの4入力と、随意制御＋自律制御を組み合わせたハイブリッド制御の支援ロボット。
成果
3入力すべてでベッドサイドへの搬送タスク15/15に成功。入力を切り替えられるシステムとして実現可能性を実証。
概要
神経筋難病患者支援や高齢化に伴い、食事・飲料の取得や身の回り品の操作といった日常生活動作（ADL）を自立的に行うための支援技術が求められている。 従来の支援ロボティクスは、ジョイスティック・視線入力・生体電位など単一入力、あるいはロボット側の完全自律のいずれかに偏ることが多く、利用者の残存機能の多様性や日内変動への適応が難しい。
本研究では、使用者の意思を反映する 随意制御 と、ロボットがタスクを遂行する 自律制御 を組み合わせた ハイブリッド制御 の枠組みのもと、視線・生体電位（BES）・音声・タッチの マルチモーダル生体情報 を入力としたマスター・リモートシステムを設計・開発した。
システム構成
開発したシステムは、マルチモーダル入力インタフェース、各入力を集約するプロセッサユニット（ノートPC + マイコン）、移動ロボット上にロボットアーム・センサ・制御PCを搭載したリモートロボットで構成される。
入力データはブラウザ経由でHTTPSによりリモートロボット側のWebサーバへ集約され、ROS 2のトピック通信を通じてロボットアーム・移動ロボットの動作指令に変換される。リモートロボットのカメラ映像はWebRTCでリアルタイムにブラウザへ返送され、操作者は遠隔環境を把握しながら操作できる。
マルチモーダル入力インターフェース
利用者の残存機能の多様性に対応するため、異なる運動チャネルを組み合わせた相補的構成を設計方針とした。本システムは次の3系統の入力に対応する。
- タッチ: 上肢が比較的保持されている利用者向け。事前キャリブレーション不要で直感的。
- 視線 + BES（生体電位信号）: 上肢・発話機能がいずれも低下した利用者向け。視線で「対象の選択」、BESで「決定」を担う。アイトラッカ Pupil Labs Neon を使用、ディスプレイ四隅に AprilTag を配置することで個別キャリブレーション不要の構成とした。
- 音声: 発話機能が保持されている利用者向け。Web Speech APIで発話を文字化し、GPT-4o-mini により意図解釈して ROS 2 トピック指令に変換する。
リモートロボット
リモートロボットは、Mega Rover Ver. 3.0（Vstone）の移動プラットフォーム上に、CYBERDYNE 製の7自由度ロボットアームを搭載した構成である。ポータブル電源で独立駆動可能で、500 mlペットボトル（500 g相当）を把持対象として日常生活動作の約9割をカバーすることを想定している。
センサ系は RGB-D カメラ RealSense D435i と 3D LiDAR Livox MID-360。物体検出には YOLOv8 を用い、深度情報と組み合わせて把持対象の3次元位置を推定する。視覚サーボでは比例制御 + 整定確認を導入。自律走行は ROS 2 Nav2 で実装し、slam_toolbox で作成した環境地図上で AMCL による自己位置推定を行う。
動作フロー — ハイブリッド制御
随意制御と自律制御を統合する状態機械を、制御 PC 上の Web サーバ内に実装した。
タッチ・視線+BES・音声のいずれかの入力を受信すると、自律タスク（経路計画 → リーチング → 把持 → 搬送 → 受け渡し）が起動し、シームレスに一連の動作を実行する。各状態での失敗（経路計画失敗、検出失敗、把持失敗、到達タイムアウト）は待機状態への復帰として設計した。
基礎性能試験
健常成人1名により、5.5 m × 3.6 m の日常生活模擬空間で、机上のペットボトルをベッドサイドの利用者まで搬送するタスクを評価した。3系統の入力それぞれで5試行、計15試行を実施した。
結果
3系統（タッチ／視線+BES／音声）いずれの入力でも搬送タスクは全試行成功し（各5/5）、操作はタッチが最も速く、音声は入力に時間を要した。入力手段を選択・切り替えできるシステムとしての実現可能性を確認した。
制作体制
個人制作（大学内での研究開発・試験）
導入・展示実績
- — 2026年度 大学院セミナー 発表 (2026/5)
- — 国際会議論文の投稿に向けて準備中