MaterialでPhysicalMaterialを分ける場合は、ComplexCollisionの利用が必須のようです
Simple as complex ではSimpleCollisionとして設定されたプリミティブがそのままComplexになってしまうため、Surfaceに適用されたMaterialとの一致が取れず、優先度の高い（MaterialIndexの小さい）ほうが出てしまうのではないでしょうか
CharacterMovementはSweepしていますが、その対象はSimpleCollisionです
なので今回の判定では、SimpleCollsionで検知されたほうがPhycisalMaterialとして入ってきています
ひとまず、CharacterMovementが動かすCollisionによる検知でPhysicalMaterialを出し分けたい場合は、対象のCollisionComplexityは Complex as Simple にするのが良いでしょう
なお、LineTrace等でComplexを対象にしたときにはComplexCollsionが参照できるので、結果が変わります