空振りというのも見た目には当っていなくても音が鳴るという事はヒットしているという事です。
あまり賢いやり方ではないかもしれませんが、コリジョンコンポーネントを少し大きめに作成しておき、On Component OverlapのHitの中にはHit Locationの情報がありますので、Hit Locationの位置とコンポーネントの位置からVectorの長さを取得し、一定以上離れている場合には空振りの音、そうでなければ通常のヒット音にする、という方法です。
システム的な対処方法は多分、ないと思います。ただ私であればそのような実装方法をするというだけです。