脳知能モデルとは,例えばヒトが行う脳信号や行動パターンを観測し,これらの処理と同じ挙動をアルゴリズムやプログラムで実現することを言います.本研究室では,モデルとして,人工知能やソフトコンピューティング分野のニューラルネットワーク,ファジィシステム,遺伝的アルゴリズム,機械学習などを活用します.
https://www.kansai-u.ac.jp/kenkyubito/stories/08_hayashi.html


研究内容


オムロン・卓球ロボット「フォルフェウス」共同研究
https://www.omron.co.jp/technology/information/brand/forpheus/
フォルフェウス(FORPHEUS)は,“Future Omron Robotics technology for Exploring Possiby of Harmonized aUtomation with Sinic theoretics”の頭文字であり,オムロンの未来予測理論「SINIC理論」に基づくオムロンのロボット技術を表現した造語である.フォルフェウスにより,機械が人の能力を引き出す「融和」の世界が体現できる.関西大学総合情報学部林勲研究室では,関西大学体育会卓球部の共同参画のもと,オムロンの卓球ロボット・フォルフェウスの共同研究開発を行っている.


pdi-Baggingの定式化とその評価
https://www.cbii.kutc.kansai-u.ac.jp/paper/49.pdf
パターン分類問題に対して,複数個の弱判別器を学習しそれらを統合的に組み合わせて全体の識別精度を向上させるアンサンブル法に対する関心が高まっている.本論文では,仮想的に生成したデータを学習データに追加して,複数個の弱判別器を学習しこれらの多数決により識別精度を向上させる新たなバギング(Bagging)を提案する.仮想的に生成したデータをバーチャルデータと呼び,このバギングをpdi-Bagging(PossibilisticDataInterpolation-Bagging)と呼ぶ.ここでは,バーチャルデータの領域を特定化する新たなバーチャルデータ発生法とバーチャルデータのクラスを決定する新たな評価指標を提案する.バーチャルデータの発生領域の特定化では,学習データの分布性と方位性を考慮し,誤判別型,正判別型,混合判別型の5種類の発生法を導入する.また,評価指標の定式化では,正誤判別データとバーチャルデータとの空間的類似指標を基盤とした3種類の評価指標を定式化する.pdi-Baggingでは,バーチャルデータが学習データに追加されるので,バーチャルデータの追加の方法によってはクラス間のデータ量の偏りがなくなり,判別線の同定精度が向上し,評価データに対して高い識別率を得ることができる.ここでは,新たなpdi-Baggingのアルゴリズムを定式化し,数値例を用いて本手法の有用性を議論する.


卓球放送映像から獲得するボール軌道のオクルージョン処理とその評価
https://www.cbii.kutc.kansai-u.ac.jp/conference/228.pdf
最近,スポーツ界への人工知能の応用が切望されている.特に,身体の内部モデルに深層学習やデータサイエンスのAIモデルを用いて,スポーツ技能の評価や動作解析,戦略分析等の研究が行われている.現在,我々は視覚化が可能な卓球AIモデルの研究を進めている.卓球は,勝負の作戦を論理的に組み立てるスポーツといわれ,戦術と戦略は定式化されている.具体的な卓球AIモデルとしては,我々は放送映像から選手の戦術と戦略を獲得するシステムを開発している.本システムは,映像抽出モジュールと戦略獲得モジュール,戦略表示モジュールからなり,現在,映像抽出モジュールを開発している.映像抽出モジュールでは,放送の映像から卓球の対戦シーンのみを抽出し,深層学習のCenterNetを用いて,選手の身体位置やボールのラリー軌道,ボール回転等を抽出する.その後,戦略獲得モジュールにおいて,ラリー軌道やボール回転等から戦術戦略の知識を獲得し,戦略表示モジュールで,監督やコーチに選手への技能改善の提示を行うシステムである.しかし,現在開発中の映像抽出モジュールでは,ボールのラリー軌道が選手の身体に隠れて,ボール位置が認識不能となるオクリュージョン課題が発生している.本論文では,映像抽出モジュールのオクリュージョン課題を解決する手法を提案し,ラリー軌道と卓球台でのボールのバウンド点,及び,選手によるボールの打球位置を推定する手法を提案する.具体的には,オクリュージョン領域以外のボールのラリー軌道を推定し,オクリュージョン領域前後のラリー軌道とその変化の違いから,直交回帰と内挿法または外挿法を用いてオクリュージョン領域内のラリー軌道を推定する.ただし,オクリュージョンはパターンに分類し,それぞれのパターンに合わせて直交回帰と内挿外挿法を適用する.一方,ボールバウンド位置と打球位置は,ラリー軌道の変化から推定する.ここでは,2016年のリオ・デ・ジャネイロオリンピック大会の卓球女子シングルスの放送映像を用いて,本システムによる推定のラリー軌道と事前に確認された正しいボール位置によるラリー軌道との差から,本手法の精度を議論する.将来的には,本システムは,アンサンブル学習型ファジィクラスタリングモデルにより戦術戦略をif-thenルールとして獲得し,戦術戦略を視覚化することも可能である.本システムの最終的な目標は,卓球トップ選手へのサポートツールとして,また,一般競技者への健康増進ツールとして,「卓球AIコーチ」の実現である.


pdi-Baggingを用いた大規模屋外駐車場での車種識別
https://www.cbii.kutc.kansai-u.ac.jp/conference/223.pdf
近年,多くの屋外駐近年,多くの屋外駐車場では,車両区画ごとに駐車状況を表示する装置が装備されている.しかも,空車表示だけでなく駐車率の混雑度を表示する駐車場もある.また,車種を識別する駐車場も存在する.これらの駐車状況の活用により,利用者は,駐車スペースを探す利便性が増すだけでなく,駐車場の管理者にとっても,駐車率や車種判断が可能になれば,人流把握にもつながり,営業性の向上にも有効であるといえる.従来の駐車場では,赤外線センサーや超音波センサーの車両検知システムの導入によって,駐車場の車室状況を取得し車両の混雑状況を把握していた.しかし,センサー式車両検知システムは,車両台数が増えると,特に,大規模な駐車場では,設置費用や維持コストが膨大となり,対費用効果からも有効的な方法とは言えない.一方,広角カメラによる車両検知システムも存在する.近年では,広角なIPカメラが製品化され,コスト面が改善されたことや市内のセキュリティ対策として監視カメラが販売されるなどにより,IPカメラの活用が広がっている.そのため,最近では,広角IPカメラを用いた駐車場の車両検知システムが注目されている.車両検知システムでは,広角IPカメラ式車両検知システムは導入コストが低く,天候や日照状況の影響を受けにくい利点があり,さらに,防犯用カメラとしても使用することができるので,今後も,駐車場での普及が進むと期待されている.一方,車両の種類は駐車場の場所によって大きく偏りが生じる.例えば,市街地の駐車場では自家用車の小型車が多いが,郊外や高速道路の駐車場ではバスやトラック等の大型車が多い.そのため,検知された車種ごとのデータ量は必ずしも均等とはいえず,クラスタリングモデルによる車種識別に大きく影響を与える.本論文では,車種クラス間でデータ量の不均衡が生じている場合,アンサンブ ル学習のpdi-Baggingを用いてバーチャルデータを発生し,車種の識別率を向上させる車種識別システムを開発する.具体的には,郊外の駐車場を事例として,郊外の大規模屋外駐車場では大型車が多いので,小型車データに仮想的な画像バーチャルデータを発生し,小型車と大型車のデータ量に均等性を担保する.また,これらのバーチャルデータを学習用の車両画像データに追加し,弱判別器としてファジィ推論を用いたBagging法で車種を識別する.このバーチャルデータを学習用データに追加し,識別率を向上させるアンサンブル学習法をpdi-Baggingと呼ぶ.バーチャルデータは広角IPカメラから獲得した車両画像データでもあるので,本手法は,仮想的な画像データを画像学習データに追加するクラスタリング手法であるといえる.さらに,バーチャルデータの追加によるモデルの過学習を防ぐため,判別線を小型車クラスのセンター側に引き戻すモデルキックバック方式の学習法を提案する.このモデルキックバック方式は,pdi-Baggingの誤判別型バーチャルデータ発生方式に採用される.したがって,誤判別型を含む混合判別クラスター中心型バーチャルデータ発生方式でも採用される.ここでは,バーチャルデータの発生法とキックバックの程度(レベル)による識別率の比較から,本手法の有用性を議論する.また,実際の駐車場での車種識別の画像データを用いて,バーチャルデータ発生とモデルキックバックによるpdi-Baggingを挿入した車種識別システムの有用性についても議論する.


放送映像からの卓球競技の軌道追跡
https://www.cbii.kutc.kansai-u.ac.jp/conference/220.pdf
最近,スポーツ界へのAI:人工知能の応用が切望されている.一般に,熟練者の技能スキルは単機能とメタ技能の階層構造から構成されるといわれ,特に,競技者は環境変化を客観的に観察し,内部モデルを逐次的に学習させながら最適な行動プロセスを決定できる.スポーツ技能の研究では,従来では,この内部モデルに身体的構造モデルや骨格構造モデルを用いて動作解析等を議論してきた.しかし,近年,内部モデルに深層学習やデータサイエンス等のAIモデルを用いてスポーツ技能の評価や動作解析,戦略分析等の研究が行われている.本論文では,データサイエンスから視るAI卓球の一例として,放送映像から選手の戦術と戦略を抽出する画像処理アルゴリズムについて議論する.具体的には,深層学習(DNN)のCenterNetを用いて,放送映像から選手の身体位置とボール軌道,ラリー軌道等を自動抽出し戦術戦略の知識を獲得するシステムを提案する.卓球は,勝負の作戦を論理的に組み立てるスポーツといわれ,戦術と戦略は定式化されている.ここでは,2016年のリオ・デ・ジャネイロオリンピック大会卓球女子シングルスの放送映像を用いて,ボール軌道から特定の選手の規則化された戦術と戦略を獲得することを試みる.システムの実装には,映像から対戦シーンのみを抽出しボール軌道とラリー軌道を獲得する映像抽出システムと戦略獲得システム,戦略表示システムが必要となる.しかし,卓球では,選手の戦略や心理変化が勝負に大きく影響し,練習を含めて,監督やコーチによる選手へのコーチングが勝負や技能改善を大きく左右する.そのため,提案システムには,監督やコーチへの可視化の機能も必要となる.したがって,ここでは,映像抽出システムのみを紹介するが,戦略獲得システムでは,アンサンブル学習を導入したファジィクラスタリングモデルにより,戦略がif-thenルールで獲得され,指導者への可視化の教示が可能となる.我々が研究を進めているAIモデルは可視化できるデータサイエンスモデルである.このAIモデルが卓球トップ選手へのサポートツールや一般競技者への健康増進ツールとして活用できれば,「AIコーチ」や「AI卓球」や「AIスポーツ」と言った新しいスポーツイノベーションを展開することも夢ではない.


台形型メンバシップ関数による学習型ファジィ推論の設計評価
https://www.cbii.kutc.kansai-u.ac.jp/paper/47.pdf
三角形メンバシップ関数の一般形である台形型メンバシップ関数を採用したファジィ推論(台形型ファジィ推論)の汎用精度は高い.また,ファジィ推論を用いた学習型ファジィクラスタリングは,学習によりクラス識別領域を調整できるので,データ投入ごとに認識精度を高めることができる.学習では,前件部のメンバシップ関数と後件部のシングルトン実数値を調整する.しかし,ファジィ推論を実際の問題に適用する際に,例えば,メンバシップ関数とシングルトンの学習係数をどのように決定して,初期値をどのように設定するか,また,前件部と後件部のどちらを先に学習すべきかなど,ファジィルールの設計についてはあまり議論されているとはいえない.本論文では,ファジィルールのパラメータ調整を単なるチューニング問題として捉えるのではなく,ファジィルールの設計問題として捉え,前件部のメンバシップ関数と後件部のシングルトンの学習係数,それらの初期値の設定方法,後件部と前件部の学習順序について議論する.まず,台形型ファジィ推論を定義し,ファジィルールの調整のための最急降下法の定式化を行う.次に,種類の初期配置法を提案し,また,種類の学習順序についても議論する.最後に,数値例を用いた誤差の評価により,これらのハイパーパラメータの設計法について議論する.


ファジィ演算子を用いたラット培養神経回路網の構造特性の解析
https://www.cbii.kutc.kansai-u.ac.jp/paper/44.pdf
近年,Brain Machine Interface(BMI)や生体信号による外部機器の制御など,脳や生体を活用する基礎研究が活発に行われている.BMIでは,脳の可塑性や機能分散の構造特性を活かし外部機器を効率よく制御する.生体の神経回路網に関する研究では,培養神経回路網が可塑性によって発火スパイクを規則的に保持できることを示す.また,最近では,神経回路網における神経細胞間の時空間特性を解析し,脳内信号の同時発火性から初期視覚機能や初期聴覚機能を解明する研究が盛んに行われている.神経回路網での信号の流れを神経細胞間の発火スパイクの単なる連鎖と捉えるのではなく,その一連の連鎖の流れの方位性や連動性に注目して,種々の初期知覚現象が空間特性と時間特性によって表象されると考える.本研究では,培養神経回路網における神経細胞の発火スパイクの論理性と方位性,結合性の構造特性を議論し,その時間特性を議論する.ラット培養神経回路網における発火スパイクは64個の電極を備えた多電極計測装置(MED)により計測される.この分散培養皿に装備されている64個の電極から任意の3電極を選択し,t-norm演算子とt-conorm演算子からなるファジィ演算子を用いて,発火スパイクの論理性と方位性を推定する解析法を提案した.また,ファジィ包含度によって発火スパイクの伝播効率を定義し,電極間の結合性を議論した.さらに,伝搬,拡散,吸収の3種類の伝播パターンの方位性を用いて,発火スパイクの論理性と結合性の関係について議論した.ここでは,これらの議論から,ファジィ演算子が培養神経回路網の発火スパイクの論理性と方位性,結合性の解析に有用であることを示す.


ファジィデータ補間によるブースティングアルゴリズムの提案と脳コンピュータインタフェースへの応用
https://www.cbii.kutc.kansai-u.ac.jp/paper/43.pdf
近年,脳からの情報により外部機器を制御するBCIやBMIの研究が盛んに行われている.これらのシステムでは,近赤外分光法(NIRS)や脳波計測装置(EEG)により脳活動信号を計測し,識別モデルにより信号クラスターを識別して外部機器を制御する.本論文では,ファジィデータ補間によるブースティングアルゴリズムを提案する.誤識別の領域を定義したメンバシップ関数により誤識別データの近傍に補間データを発生してデータの識別精度を向上させ,3種類の評価基準の加重平均により補間データのクラスを決定する.本手法では,誤識別の周辺に補間データを発生させるので,誤識別データとその周辺に発生した補間データの全てのデータにより識別線が推定され,その識別線が滑らかで評価データの認識率が良い.ここでは,NIRSを模擬した数値例により本手法の特性を議論し,NIRS計測装置による脳活動計測実験に適用し,その有用性を検討する.


特異値分解による運動動作の特徴獲得
https://www.cbii.kutc.kansai-u.ac.jp/paper/38.pdf
近年,身体の動作に関与した様々な研究が行われている.川人は,身体を一つのモデルと仮定し,フィードバックとフィードフォワード制御からなる脳と身体間の閉回路で身体内部モデルを構成し,身体動作のしなやかさを説明している.本論文では,内部モデルを入出力データから得られる一つの関数モデルとして捉え,身体に装着した各種センサーから身体動作の時系列データを検出し,特異値分解を用いてその動作の特徴を抽出するモデルを提案する.ここでは,この内部モデルによって得られた知識を身体知と呼ぶ.具体的には,左特異ベクトルを用いた類似度と評価値から2種類の識別モデルを構成し,手招きのジェスチャーを識別した.また,特異値によって構成される3次元の超平面から歩行動作の識別を行った.最後に,本論文での特異値分解を用いた動作解析手法の特徴と意義について,考察を行った.


生体表現システム:ファジィインタフェースを用いた培養神経細胞とロボットとの相互接合
https://www.cbii.kutc.kansai-u.ac.jp/paper/37.pdf
我々は,ラット海馬からの分散培養神経回路網とロボットで閉ループを構成する生体表現システムを提案している.このシステムでは,培養神経回路網からロボットへの制御信号を推論するトップダウン信号とロボットから培養神経細胞への刺激入力を決定するボトムアップ信号の2種類の信号系統をもつ.本論文では,この生体表現システムのインタフェース機能としてのファジィ推論に注目し,ケペラロボットの直進走行の走行実験の事例を用いて,ファジィ推論の適合度の推移と誘導活動電位頻度の変化から,培養神経回路網の学習性とファジィインタフェースの適応性について議論する.


Aperture問題における知覚認識とその脳内活動部位の推定
https://www.cbii.kutc.kansai-u.ac.jp/paper/33.pdf
脳を一つの数理モデルと仮定すると,表象出力の知覚を分析し脳内の階層構造をモデル化するアプローチがある.その心理実験としてAperture実験がある.仁科らは,人間の知覚は対象物の可視領域の大きさと非可視領域との占有性に依存し,線分の可視時間が長いほど認識されやすいことを示した.本論文では,新たに線分速度を変化させた場合の知覚認識率について議論し,さらに,脳波(EEG: Electroencephalograms)計測実験により,脳内での活動部位を推定する.具体的には,Aperture問題の諸条件を変化させた場合の呈示時間の変化に対する知覚認識率を測定して,線分速度の依存性を議論する.次に,EEG(Electroencephalograms)解析用のソフトウェアにより,視覚誘発電位(VEP)の振幅変化から脳内活動部位を推定し,背側経路と腹側経路における推定部位と知覚との関係について議論する.最後に,本実験で得られた2手法の結果から,Aperture知覚の総括的な検証結果について考察する.


TAM Networkのプルーニング手法の提案
https://www.cbii.kutc.kansai-u.ac.jp/paper/28.pdf
網膜から外側膝状体,第1視覚野,側頭葉に至る人間の視覚系処理過程をモデル化したニューラルネットワークにTAM(Topographic Attentive Mapping)ネットワークがある.TAMネットワークは,入力層,基盤層,カテゴリー層,出力層の4層からなり,共振学習とビジランス機能を用いて,パターン認識に有効な手法である.しかし,学習データに対して過学習となる傾向があり,ネットワーク構造の表現問題や入力属性の選択問題などが存在する.本論文では,TAMネットワークのデータ処理過程がファジィ推論過程と類似していることから,情報量を用いた3種類のプルーニングルールを定義し,入力層の属性の重要度と4層間のリンクの結合の強さを評価して,リンクとノードを削除する新たなプルーニング手法を提案する.また,その有効性を検討するため,数種類の数値例に適用してTAMネットワークの学習性と頑健性を検討する.