UE4とSwarmAgent間の通信がファイアウォールで遮断されていないかチェックしてください
使用しているセキュリティソフトによっては事前の表示なしに遮断している場合があります
それでも解決しない場合はLightmassの設定があまりにも重い設定になっていないか調べる必要があります
使用しているMeshのLightmapResolutionの最大サイズ、WorldSettingsのLightmassSettingsの項目あたりを提示していただければ、どの部分が重いのかあたりを付けることは可能です