タグ付けしたコンポーネントがうまく削除できません

個人的にはこういったタグによる管理方法はお薦めしません。
Actor内部で動的に作成し、かつ削除する必要があるのなら、変数に参照を持つのが一般的かつ確実でしょう。

タグによる管理が活きるのはもっと包括的かつ匿名でActorやComponentを管理する場合であり、今回はそれぞれ対象が既知のComponentなので、むしろ処理を煩雑にし不具合の原因を作っているという印象を受けます。