VR開発においてgrab componentをメッシュにアタッチするとphysics constraintの意味がなくなります。

私はVRのゲームを作成したいと考えています。
宝箱の蓋を自分でつかんで開くように設定したいのですが
、蓋にgrab componentをアタッチすると制約を超えて動画のような挙動になってしまいます。どうしたらよいでしょうか?