Hola!
Tengo el mismo problema. Pero lo pude resolver.
El problema está en que se pierde la referencia de coordenadas. Para que esto no suceda debes emparentar el objeto problematico a un padre.
Una vez hecho esto no tendrás ese problema. Y funciona incluso con animaciones y esqueletos.
Saludos,