感知 · 推断用户与环境状态
可穿戴多模态感知
构建紧凑的多模态可穿戴设备，采用电阻抗断层成像（EIT）、IMU 等传感模态推断用户与环境状态。
关于我
基于可穿戴交互系统的具身人工智能
我目前是西北大学计算机科学系（Epistemic Decisions Lab）的二年级博士生，师从 Jessica Hullman 教授。我此前的项目构建可穿戴传感与刺激；在 Epistemic Decisions Lab，我设计情境感知、主动式和混合主动式的助手，服务于人机协同决策。
论文发表于 ACM CHI、UIST、CVPR 以及 NeurIPS。曾受邀在 MIT、UIUC、密歇根大学、Columbia 和芝加哥大学做学术报告，以及在高通和 Google 做技术演示。
此前，我曾先后在芝加哥大学 HC-Integration Lab（在 Pedro Lopes 教授指导下）、西北大学 SPICE Lab（在 Karan Ahuja 教授指导下）以及中国科学院软件研究所（在韩腾教授指导下）担任研究助理。我在宾夕法尼亚大学（GRASP Lab）获得机器人学工程硕士学位（M.S.E.）。
最新动态
- 2026年11月 在密歇根大学 HCI Open House（Post-UIST 2026）上做了闪电报告（lightning talk）
- 2026年11月 在 UIST 2026（底特律）展示《EITWatch》
- 2026年10月 受邀在 Columbia Computer-Enabled Abilities Lab 做可穿戴具身智能主题报告
- 2026年10月 审稿清单论文获 NeurIPS 2026 AI-Native Academia 研讨会最佳论文荣誉提名
- 2026年10月 受邀在 UIUC HCI Seminar 做面向手部的多模态传感主题报告
研究方向
我的研究探索可穿戴形态下的具身人工智能，构建情境感知的助手，使其能够主动行动，或与用户共享主动权。
- 构建多模态可穿戴设备，以感知佩戴者及其周围环境。
- 将助手何时、如何主动介入形式化为决策问题，并以人的行为模型作为先验。
- 设计体上触觉技术，将辅助决策转化为身体层面的干预。
决策 · 何时以及如何辅助
混合主动式辅助
将助手何时、如何与用户共享主动权形式化为决策问题，并以人的行为模型作为先验，从而在不确定性下支持人。
干预 · 提供物理辅助
体上触觉技术
设计紧凑的体上界面，通过触觉反馈提供辅助，以支持人的感知与行动。
发表论文
* 表示共同第一作者
审稿抽签误差（reviewer lottery error）指的是：少数几位审稿人只会提出更大的合格审稿人群体本会提出的部分问题，由此产生的误差。本文表明，向审稿人呈现一份从历史审稿语料中学习得到的批评意见清单，可以降低这种误差。我们用一套大语言模型辅助的流程生成一棵由不同层级清单构成的树，并选出使审稿人之间相关一致性（一个有理论依据的度量）最大的清单。在 NeurIPS 2021 与 ICLR 2022 数据上，由大语言模型审稿人进行的模拟评审中，学习到的清单使三人评审组的均方误差（MSE）分别降低 58% 与 21%。在一项 20 人参与的用户实验中，以 NeurIPS 2021 的排序为基准，学习到的 NeurIPS 清单将论文排序的 MSE 从 0.48 降至 0.22。
腕部电阻抗断层成像（EIT）可在无需摄像头的情况下，通过肌肉与肌腱运动引起的阻抗变化感知手势，但既有腕部 EIT 系统通常需要超出智能手表表背接触面的电极环绕，并依赖独立的模拟前端。本文提出 EITWatch，首个围绕智能手表表背几何形态构建的腕部 EIT 系统。紧凑环形平面电极阵列直接读取手表既有皮肤接触面的阻抗变化；由于平面阵列无法环绕腕部，EITWatch 采用多深度扫描，沿多种电流路径探测组织。用户研究表明，这一表背形态能够支持宏手势与微手势识别，为日常可穿戴设备上的低侵入性 EIT 输入提供了可行方向。
仅依赖惯性测量单元（IMU）的惯性里程计（Inertial Odometry, IO）为增强现实与可穿戴设备中的人体运动追踪提供了一种轻量级技术路径，然而基于数据驱动的深度学习方法由于缺乏对人体运动动力学的显式建模，易产生累积性漂移误差。本研究提出 MARIO 框架，从原始 IMU 数据中学习人体姿态先验知识，并将其嵌入惯性里程计的状态传播过程，以引入符合人体运动学特性的物理约束。进一步地，本研究构建了面向商用 AR 眼镜平台的轻量级多传感器融合架构，有效整合磁力计、气压计及辅助 IMU 等现成可用的传感信号。在大型人体运动数据集上的系统性评估表明，MARIO 相较于强基线 IO 方法显著降低了位置估计漂移，并在多样化运动场景下展现出更强的鲁棒性，为融合运动学先验与多模态感知策略的无摄像头人体追踪研究提供了新的技术思路。
感官替代设备使用户能够通过触觉等非视觉感官通道感知视觉信息。然而，现有设备普遍采用头戴式摄像头布局，限制了手部操作过程中的动作协调性。本研究提出从"手部视角"实现"看见与感受"的感官替代范式，以提升该技术的灵活性与表达力。为此，本研究设计了一种手背式电触觉显示装置，将腕戴摄像头捕获的视觉图像实时转化为触觉刺激信号，使用户在执行伸手与悬停等操作过程中感知物体特征。在一项包含明眼人及盲人和低视力参与者的对照用户研究中，本研究系统比较了手部视角与传统头戴式视角在典型操作任务（如物体抓取、精密焊接等）中的表现差异。实验结果表明，两种视角在任务绩效方面无显著差异，但参与者普遍更倾向于手部视角所带来的操作灵活性，因其支持更符合人体工效学的操作策略。
电触觉刺激技术为高分辨率可穿戴触觉反馈提供了一种颇具前景的技术路径，然而长期以来难以与柔性纺织材料实现良好集成以适应日常穿戴需求。本研究提出 TacTex，一种将高密度触觉反馈与触摸感知无缝集成的纺织基人机界面。通过采用创新性的多层编织结构，利用非导电纱线分隔导电电极阵列，TacTex 实现了 512 × 512 的感知与驱动分辨率，电极间距最小可达 2 mm。配套定制的驱动电路系统能够精确调控电刺激的时空分布特性，并同步监测电压变化以实现实时触摸追踪。技术评估实验与用户研究表明，TacTex 能够呈现包括复杂静态与动态触觉图案在内的多样化触觉效果，为高保真触觉反馈技术在日常服装中的集成应用开辟了新的可能性。
更多
有趣的项目
-
-
-
-
有趣的事
- 博主 人机交互与学术生活，关注者超过 5,000。
- 萨克斯演奏 职业演奏者，练习超过十年。
- 卡车司机 一夜从芝加哥开车到纽约，全程没有休息。
- 职业玩家 Fruit Ninja 全球前 20；NBA 2K 全美前 500。
