LingBot-Touch:异构触觉表征学习基础模型
NEW基于JEPA的触觉表征模型,用共享Transformer在潜在空间做掩码预测,统一磁、压阻与视触觉信号,支持高频推理与跨传感器、跨任务迁移。
LingBot-Touch 是一个 JEPA 架构的触觉表征模型:针对磁、压阻、视触觉三类传感模态使用各自的 tokenizer,再由共享 Transformer 在潜在空间做掩码预测,学习统一的时空触觉表征。仓库提供冻结的目标编码器与推理工具,可提取 token 级触觉特征及其时空地址(时间、手指、空间位置),预训练权重 Tiny 与 Small 两个规格需从 ModelScope 或 Hugging Face 单独下载,且需要有权限的账号。
README 强调下游读出应采用基于注意力的查询:用可学习或任务条件化的 query 对全部输出 token 做 cross-attention,而不是逐 token 线性投影或 mean/max 池化——因为经过共享 Transformer 的自注意力后,单个 token 已融合其他 taxel 与时间位置的信息,按地址取 token 或池化无法隔离特定手指或时间段的测量。推理流程包括对齐数据格式、几何与信号归一化(XY 映射到 [-1,1],Z 到 [0,1])、可选重采样,再指定模态运行。标定参数是每根手指的固定几何变换,与当前触觉值无关。示例中 Sharpa 采样自带规范坐标,XHand 适配器含固定目标坐标,无需用户自行提供标定参数。