O que eu disse era exatamente para controlar um pawn por vez.
Consegue sim, inclusive o link que você postou mostra exatamente isso.
Sobre usar Actors ao invés Pawns, eu prefiro usar a classe pawn mesmo, até porque um pawn é um actor com uma relação mais estrita com o player controller, mas ai fica a seu critério.