これはまさしくScreen Space Ambient Occlusion(SSAO)が原因です。おそらくポストエフェクト側でSSAOが設定されているからです。
ライティングビルドでアンビエントオクルージョンをベイクすることが可能ですが、SSAOとは見え方が変わってきます。以下の公式ドキュメントに使い方が載っています。
SSAOの方を切ってから、ワールドセッティングを開き、[Use Ambient Occlusion]にチェックしてから細かい設定を弄り、ライティングビルドを行うことでAOをベイクすることが可能です。色々と試してみてください。