ニュース

2008.05..26　研究成果のご案内

脳波を使って仮想世界のなかを散歩・会話
〜手足が不自由な方の協力を得て実証実験に世界で初めて成功〜

実証映像はこちらからご覧いただけます。KEIO080526-1.mov（学生アバターに歩み寄って会話）
画面左は被験者が見ているセカンドライフの映像（枠内は操作風景）、
画面右は学生の見ているセカンドライフの映像（枠内は操作風景）です。
アスリート姿のアバターは、被験者が脳波で操作しており、
忍者姿のアバターは、学生が指で操作しています。

実証映像はこちらからご覧いただけます。 KEIO080526-2.mov（ジグザグのレーンを通り抜ける）
画面中央は被験者が見ているセカンドライフの映像（アスリート姿のアバターは被験者が脳波で操作しています）、左上の枠内は学生の操作風景、右上の枠内は学生アバターの視点です。

※逐次、別のシーン映像を公開していきます。しばらくお待ちください。
※許可無く転載を禁じます。

 

2007.12.03 For the students attending Control Theory For Biosystem (Mon. 1st), report DL.

2007.10.11 研究成果のご案内

脳内イメージでコンピュータを操作
頭の中で考えただけでセカンドライフ内を「散歩」できる技術の開発に成功

私たちの研究室では、頭の中で考えただけで3D バーチャルコミュニティ・サービス「セカンドライフ（*1）」内を散歩できる、ブレイン・コンピュータ・インターフェース技術の開発に成功しました。機械が脳波を読み取ってコンピュータを操作するブレイン・コンピュータ・インターフェース技術は近年研究・開発が進んでいますが、その技術を、セカンドライフ内のキャラクタの操作に応用するのは世界初の試みです。
この研究は、慶應義塾大学医学部リハビリテーション医学教室および慶應義塾大学月が瀬リハビリテーションセンターとの医工連携プロジェクト（*2）による成果です。重度な運動障害（*3）のある方にもセカンドライフ内でのコミュニケーションやビジネスの可能性を拓くもので、今後は、医学分野との連携により、脳を積極的に使うことでのリハビリテーション分野での可能性についての応用展開も計画しています。

図1　研究室での実証実験の様子

頭の中で，「足を動かすイメージ」をすると，セカンドライフ内のキャラクターが前に歩きます。
頭の中で，「右手を振る（あるいは握る）イメージ」をすると，キャラクターは右に回ります。
頭の中で，「左手を振る（あるいは握る）イメージ」をすると，キャラクターは左に回ります。
頭の中で何も考えずにリラックスすると，キャラクターは静止します。

このように，頭の中の運動イメージと実際のキャラクターの動きとが近い，より自然なブレイン・コンピュータ・インターフェース技術の確立は，本技術の可能性を飛躍的に高めるものと考えています．

 

 

１．開発した技術について
この技術は、操作者の頭皮3箇所に直径1cmの電極を貼って、四肢（手足）の運動を制御している「大脳皮質運動野」の脳活動をとらえ、その脳活動をリアルタイム分析することで被験者の運動意図を読み取るものです。
被験者が運動をイメージすると、コンピュータがその脳波変化を自動的に分析し、運動イメージにあわせてセカンドライフ内のキャラクタを操作する信号を送出します。これにより、被験者は実際に手足を動かすことなく、頭の中で手や足の運動をイメージするだけで、三次元仮想社会の中を散歩できるようになりました（図２参照）。

図２　セカンドライフを操作するブレイン・コンピュータ・インターフェースの模式図

２．今後の展開について
今後、セカンドライフ内において、より複雑な動作やジェスチャーが可能となるような技術の開発を進めていきます。また、医学分野との連携により、現在健常者の方で行っている実証実験を、運動機能に障害のある方でも今後行っていく予定です。将来的には、セカンドライフ内での「散歩」を通じて脳を積極的に使うことが、脳・神経等に与える影響・効果を測定し、リハビリテーション分野への応用の可能性も検討していきます。
また本技術を、重度な運動障害のある方のための、自立に向けてのコミュニケーション・ツールやビジネス・ツールとして発展させていくことを計画しています。

３．実証実験の動画公開、KEIO TECHNO-MALL 2007（第８回慶應科学技術展）での研究発表について
本研究の実証実験の動画を本サイトで公開しております（上記リンクをクリックしてください）。
また、KEIO TECHNO-MALL 2007において、実際にデモンストレーションを行います。
開催日時：2007年12月5日（水）10:00〜17:00
開催会場：東京国際フォーラム　ホールB7　詳細は、http://www.kll.keio.ac.jp/ktm/ をご参照ください。

 

(*1) 3Dバーチャルコミュニティ・サービス「セカンドライフ」
米国リンデンラボ社が開発・運営するインターネット上の三次元仮想社会で、世界100カ国以上からの参加者を持つ。この仮想社会の中で住民は、家、乗り物、ナイトクラブ、店、風景、洋服、ゲームなどを自ら創造し、プレイでき、自分自身の分身であるキャラクタ（アバター）を操作して仮想社会のなかを歩いたりテレポートしたりできる。またセカンドライフ内では他者と会話をしたり、デジタルコンテンツの売買を行ったりすることができる。流通貨幣は、仮想通貨リンデンドルだが、現実世界のアメリカドルへ換金が可能。

(*2) 医工連携プロジェクト
理工学・医学の以下の研究者を中心とした脳科学の共同研究プロジェクトです。
慶應義塾大学理工学部生命情報学科 牛場潤一 専任講師
慶應義塾大学医学部リハビリテーション医学教室 里宇明元 教授
慶應義塾大学月が瀬リハビリテーションセンター 正門由久 准教授

(*3) 重度な運動障害
脊髄、脳幹、大脳皮質の運動ニューロンのみが選択的に障害される筋萎縮性側索硬化症（ＡＬＳ）、脊髄損傷、脳血管障害などの原因による随意運動の障害により、自分の意思で発話したり四肢を動かしたりすることができない患者の方を想定しています。