Jiayi Hu
Jiayi Hu 胡 佳儀

I am a PhD candidate at the University of Tokyo (UTokyo), HeiLab, advised by Prof. Shin'ichi Warisawa and Prof. Yuki Ban, focusing on research in multimodal estimation of user states using physiological and behavioral signals and the sense of body ownership (SoBO) in VR.

My research interests include user-state estimation, human-computer interaction, virtual reality technologies, applications of artificial intelligence and adaptive interactive systems.

私は東京大学(UTokyo)のHeiLabに所属する博士課程の学生で、割澤伸一教授と伴祐樹准教授の指導の下、生理学的・行動的信号を用いたユーザー状態のマルチモーダル推定およびVRにおける身体所有感(SoBO)に関する研究を行っています。

研究分野:ユーザー状態推定、ヒューマンコンピュータインタラクション、バーチャルリアリティ技術、人工知能の応用、適応型インタラクティブシステム。

我是东京大学(UTokyo)HeiLab的博士研究生,师从割泽伸一教授和伴祐树副教授,目前专注于利用生理和行为信号进行用户状态的多模态估计以及VR中的身体所有感(SoBO)的研究。

我的研究兴趣包括用户状态估计、人机交互、虚拟现实技术、人工智能应用以及自适应交互系统。

Projects

研究プロジェクト

研究项目

Chronic Stress Estimation
Multimodal Chronic Stress Estimation Based on Behavioral Metrics and Physiological Signals
行動指標と生体情報に基づく多モーダル慢性ストレス推定
基于行为指标与生理信号的多模态慢性压力评估
This research estimates chronic stress states using machine learning by integrating behavioral metrics and various physiological signals obtained during cognitive load tasks (2-back) and physical load tasks (CPT). Furthermore, focusing on the contribution of each modality and the interpretability of features, we verify the improvement in accuracy and effectiveness of chronic stress estimation through a highly reproducible evaluation protocol in an experimental environment.
認知的負荷課題(2-back)および身体的負荷課題(CPT)中に得られる行動指標と多種の生体情報を統合し、慢性ストレス状態を機械学習により推定する研究です。さらに、各モダリティの寄与や特徴量の解釈可能性にも着目し、実験環境下での再現性の高い評価プロトコルを通じて、慢性ストレス推定の精度向上と有効性を検証します。
本研究通过整合认知负荷任务(2-back)和身体负荷任务(CPT)中获得的行为指标与多种生理信号,利用机器学习来评估慢性压力状态。此外,着眼于各模态的贡献度和特征的可解释性,通过在实验环境下建立高复现性的评估协议,验证慢性压力评估的精度提升及其有效性。
3PP VR SoBO Reallocation
Reallocation of the Sense of Body Ownership and Adaptive Feedback Design in Third-person Perspective VR
三人称視点VRにおける身体所有感の再配分と適応的フィードバック設計
三人称视角VR中的身体所有感再分配与自适应反馈设计
In third-person perspective (3PP) VR, users not only control an avatar but can also simultaneously interact with an overhead viewpoint entity, referred to as the “Omniscient Entity (OE),” which allows the sense of body ownership (SoBO) to shift depending on the situation. In this research, we demonstrate that SoBO is dynamically reallocated between the avatar and the OE during a continuous experience consisting of maze exploration and combat, and we experimentally investigate the factors that influence this transition. Furthermore, we propose a method that switches the synchronization target of full-body vibrotactile feedback according to the current locus of SoBO, and we present design guidelines for haptic feedback that improve immersion and interpretability in 3PP VR.
三人称視点(3PP)VR では,ユーザがアバターを操作するだけでなく,俯瞰視点の「大いなる存在(Omniscient Entity, OE)」も同時に扱えるため,身体所有感(SoBO)がどちらに帰属するかが状況によって変化します.本研究では,迷宮探索と戦闘を含む連続体験の中で,SoBO がアバターと OE の間で動的に再配分されることを明らかにし,その変化に影響する要因を実験的に検証しました.さらに,SoBO の主体に応じて全身振動フィードバックの同期対象を切り替える手法を提案し,3PP VR における没入感と理解しやすさを高める触覚提示設計の指針を示します.
在三人称视角(3PP)VR中,用户不仅操控虚拟化身(avatar),还可以同时操作俯瞰视角的“大能存在(Omniscient Entity, OE)”,因此身体所有感(SoBO)归属到哪一方会随情境发生变化。本研究在包含迷宫探索与战斗的连续体验中,揭示了SoBO会在avatar与OE之间动态再分配,并通过实验验证影响这种变化的关键因素。此外,我们提出一种根据SoBO主体切换全身振动反馈同步对象的方法,并给出触觉提示设计的指引,以提升3PP VR中的沉浸感与可理解性。
Smartphone Teacher AI
Generative AI-Based Audio-Visual Smartphone Teacher for Older Adults
生成AIを用いた高齢者向け視聴覚スマートフォン操作支援システム
基于生成式AI的老年人视听智能手机教学助手
This project proposes an AI-powered “smartphone teacher” app that understands users’ requests and on-screen content, then provides step-by-step guidance through voice instructions and visual indicators. Unlike conventional voice assistants that mainly execute commands, our approach focuses on teaching users how to operate their phones, improving confidence and reducing anxiety during daily smartphone use.
本プロジェクトでは、ユーザーの要求と画面内容を理解し、音声指示と視覚的インジケータを通じて段階的なガイダンスを提供する、AI搭載の「スマートフォン教師」アプリを提案します。主にコマンドを実行する従来の音声アシスタントとは異なり、本アプローチはユーザーにスマートフォンの操作方法を教えることに焦点を当てており、日常使用における自信の向上と不安の軽減を目指しています。
本项目提出了一款基于AI的“智能手机教师”应用,能够理解用户的请求及屏幕内容,并通过语音指令和视觉指示提供逐步指导。与主要执行命令的传统语音助手不同,我们的方法专注于教用户如何操作手机,从而提升他们在日常使用中的自信心并减少焦虑。

Education

学歴

教育背景

2023.10 - 2026.3 (Expected): M.Sc. in Environmental Engineering, The University of Tokyo
2023.10 - 2026.3 (見込): 修士(環境工学)、東京大学
2023.10 - 2026.3 (预计): 硕士(环境工程)、东京大学

Thesis: Chronic Stress Estimation Using Behavioral Metrics and Physiological Signals Under Cognitive and Physical Loads

論文タイトル:認知的・身体的負荷時における行動指標及び生体情報を用いた慢性ストレス推定

硕士论文:基于认知与身体负荷下的行为指标及生理信号的慢性压力评估

2022.10 - 2023.9: Research Student, Environmental Engineering, The University of Tokyo
2022.10 - 2023.9: 研究生(環境工学)、東京大学
2022.10 - 2023.9: 研究生(环境工程)、东京大学

Research Lab: HeiLab

研究室:HeiLab

所属研究室:HeiLab

2018.9 - 2022.7: B.Eng. in Computer Science and Technology, Zhejiang University of Technology
2018.9 - 2022.7: 学士(計算機科学と技術)、浙江工業大学
2018.9 - 2022.7: 学士(计算机科学与技术)、浙江工业大学

Thesis: Behavior decision of heterogeneous agent based on Goal-Plan Tree

卒業論文:Goal-Plan Treeに基づく異種エージェントの行動決定

本科论文:基于目标-计划树的异构智能体行为决策

Publications

発表論文

发表论文

Conference Papers

国際・国内会議

会议论文

Reallocation of Body Ownership Between Avatar and Omniscient Entity in Third-Person Perspective VR
Jiayi Hu, Kai Guo, Zhongrui Kang, Yuki Ban, Shin'ichi Warisawa.
the 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR). Korea. Feb 2026.
Multimodal Estimation of Chronic Stress Using Physiological Signals and Cognitive Task Performance
Jiayi Hu, Yuki Ban, Shin'ichi Warisawa.
the 2026 International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS). Spain. Feb 2026
A Full-body Vibrotactile Feedback Method Guided by Body Ownership in Third-person Perspective VR
Jiayi Hu, Kai Guo, Zhongrui Kang, Yuki Ban, Shin'ichi Warisawa
第 26 回計測自動制御学会システムインテグレーション部門講演会. 1E5-11. 広島. 2025 年12 月
三人称視点 VR における身体所有感の切り替えとその影響要因の検討
胡 佳儀,郭 凱,康 中睿,伴 祐樹,割澤 伸一
第 30 回日本バーチャルリアリティ学会大会. 3F2-02. 大阪. 2025 年 9 月.
慢性ストレス群の寒冷昇圧試験による痛み耐性および生理指標の解析
胡 佳儀, 伴 祐樹, 割澤 伸一
第 41 回日本ストレス学会学術総会. 10012. 東京. 2025 年9 月.
Enhance Flight Experience Through Wind-based Cross-modal Effect
Yuan Li, Jiayi Hu, Du Jin, Juro Hosoi, Rui Zhang, Yuki Ban, Shin'ichi Warisawa, Kazunori Takashio
2024 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct); 624-625; Bellevue, WA, USA; October 2024.
風のクロスモーダル現象による浮遊感の創出
李淵,胡佳儀,金杜,細井十楽,伴祐樹,割澤伸一,高汐一紀
第 29 回日本バーチャルリアリティ学会大会; 愛知県名古屋市; 2024 年 9 月

Patents

特許

专利

Method for structurally representing intelligent agent target implementation process
Yuan Yao, Di Wu, Jianghan Xia, Xiaoxuan Wang, Jiayi Hu.
CN 113255914 A. 13 August 2021.

Awards & Honors

受賞歴

获奖荣誉

日本ストレス学会奨励賞(高田賞)
胡 佳儀. 第 41 回日本ストレス学会学術総会. 2025 年 9 月13 日
優秀賞(対象 27 件中 4 件)
Jiayi Hu, Du Jin and Rui Zhang. “生成 AI を利用した高齢者におけるスマホの活用支援”
2024 年度東京大学グローバル・インターンシップ・プログラム(UGIP)ソフトバンク(株)企画 データハッカソン「生成 AI を活用した未来のライフスタイルを考えよう」
Jianxing Honors Graduate Award (Awarded to the top 1% of graduates)
Jiayi Hu. Zhejiang University of Technology. June 2022.
Scholarship of literature and sports (Awarded to 1% students)
2020/2021 academic year
Third-class scholarship of study (Awarded to top 20% students)
2020/2021 academic year
Second-class scholarship for outstanding student (Awarded to top 10% students)
2020/2021 academic year
Third-class scholarship of study (Awarded to top 20% students)
2019/2020 academic year

Skills

スキル

技能

Languages

言語

语言

  • Chinese (Native)中国語 (ネイティブ)中文 (母语)
  • Japanese (Business)日本語 (ビジネスレベル)日语 (商务水平)
  • English (Business)英語 (ビジネスレベル)英语 (商务水平)

Programming & AI

プログラミング & AI

编程与人工智能

  • Python, C#, C++, C, Java, Matlab, SQL
  • PyTorch, TensorFlow, scikit-learn

Signal Processing

信号処理

信号处理

  • Time-series Analysis時系列分析时间序列分析
  • Real-time biosignal data acquisition (e.g., Biosignalsplux)リアルタイム生体信号計測 (例: Biosignalsplux)实时生物信号采集 (如: Biosignalsplux)

Contact

連絡先

联系方式

  • 4600144648@edu.k.u-tokyo.ac.jp
  • University of Tokyo, Japan東京大学、日本东京大学,日本