少し調べてみましたが、原因はPier Poopsさんの仰る通りだと思います。
回避策ですがカメラのスプリングアームにLagを付けてみてはどうでしょうか？
バージョンによって違いがあるのはまだわかりませんが、Lagをつけることによりカメラの回転の補正のかかり方が変わるので回避できます。
もしくはカメラの制御の方法を変える必要がありそうな気がします。
カメラ座標がキャラクターの向きでグリグリ変わることになるので、キャラクターと分離してキャラクターとカメラの位置関係を相対的に保てればなんとかなる気もします。