時間と共に段々とオブジェクトやアクターが別のオブジェクトに変わっていく

どううまく行っていないのかが書かれていないため適切な回答はいたしかねますが、
特に支障がなく、仕様的に問題ないのであれば、ActorそのものではなくMesh等の目に見える部分のみのVisibilityを操作して変化させるほうがやりやすいと考えます

上記、ご検討ください