画面右下付近のトランフォームパネルで数値入力すれば、きれいに垂直になると思いますよ!
また、ただ単に上下にオブジェクトを動かしたいのであればトランスレーターツールの方が、うまく制御できるかもしれませんので試してみてください!(ライブラリ→ツール→アニメーター→トランスレーター→Translator)