Enemyに攻撃をすると飛んで行ってしまいます。

IgnoreOnlyPawnあたりに設定しておけばPawnには当たらないが地面に落ちる、という反応は実現可能かと思います
更に細かい条件があるならば個別にCollisionを設定する必要があります

ドキュメントやその他チュートリアル等を利用して、必要なCollision反応になるように設定してください