返信ありがとうございます。
BeginPlay時に最初に実行される（ハズの）ゲームインスタンスのInitイベントにUseThumbStick設定をしたものと、BeginPlayから30秒Delayをかけて実行するUseThumbStick設定をそれぞれ実行してみたところ、状況は変わりませんでした。
ですが、別の方法で解決したので解決策を書いておきます。
原因としてはパッケージ化の際にプラグインのディレクトリがクックされていないことのようでした。
行った対応はプロジェクト設定のパッケージ化→詳細設定→プロジェクトコンテンツディレクトリ内のすべてをクックにチェック→クックする追加アセットディレクトリに要素を追加し、PluginのUINavigationを指定する
こうすることでパッケージ化してもスティックをマウスとして扱うことができるようになりました
ありがとうございました。