ProjectSettingsにThirdPersonTemplateのGameModeが設定されていますか？
そうであれば、WorldSettingsでタイトル画面用のGameModeに上書きする必要があります
あるいは、DefaultPawnの自動生成を抑えるのみであれば、任意のPawnをLevel上に配置し、Player0にPossessしてください
Pawnに移動関連の処理が設定されていなければ、動くことはありません
DefaultPawn、PlayerController等は、Play時に必ず生成されます
これらはUE4のフレームワーク上無くてはならないものであり、これらの生成を止めるにはEngineを改造して仕組みそのものを変更する他ありません