VR模式下的手部物理模拟问题

在VR游戏中,想做一个手部模型不穿模的功能。目前的做法是,在手部模型上绑定一个刚体,然后开启物理模拟,去掉重力影响,并且实时根据Tracker位置设置模型位置和旋转。但遇到一个问题,在手部刚体被静态模型阻挡后,再恢复到正常无阻挡状况后,位置和旋转就会有偏移,不管怎样都修正不了,请问能够怎么解决?
视频演示:https://www.bilibili.com/video/BV1yz411q781/
如视频中所示,磁到盒子,再恢复时,会有一定偏移。视频最后,在关闭物理模拟一瞬间,模型就可以回到100%正确的位置。模型跟随也只是用了简单的SetWorldLocation和SetWorldRotation。