その現象は下記の2つの条件が合わさったときに起こる現状の仕様になります。
①パストレーサーを使用する
②太陽の制約をOFFにしてデフォルトの太陽（ロケーション項目から太陽調整）を使用する。
今のところの対応策としては、スカイライトHDRIの効果を生かしながらパストレーサーを使用する場合は、太陽の制約をONのままお使いいただいたほうがよいかと思います。
もしくは、太陽の強度を0にすることでロケーション側の影を消すことはできますが、そうすると太陽の制約をOFFにした意味がないかと思いますのであまりおすすめはしません。
またこちらの現象は今後アップデートで調整される可能性がありますので期待して私も待っています！！