透明なコリジョン（当たり判定）を作ることで、一定の高さまでしか上がれないようにはできます。
Blocking Volumeを使うのが手っ取り早いです。
ただ、動き方自体を細かく変更することは出来ません。
空のプロジェクトのDefaultPawnというのは動作確認用で、改造を前提にしてないので。
細かい改良をしようと思うと、C++が必要になってかえってむずかしいです。
FirstPersonあたりを参考に作った方がいいです。
飛んでいる状態なら重力を無効にするか、Flyingをベースに作るか。
どちらにしても改良は必要ですが、ブループリントだけで作業できます。