考えられる要因としては、グローバルイルミネーションの距離と影の距離の設定です。
画像を見る限り、グローバルイルミネーションの距離の値を小さくすれば、明るくなる現象は弱まるかと思います。
あわせてグローバルイルミネーションの強度も調整してみるとよいかもしれません。
ただ、他の部分にも影響するので実際のシーンで適切な数値調整をしてください。
教えていただいた通り調整するといい感じに収まりました!
ありがとうございます!