環境に左右されやすいので、とにかく早くしたい、というのはなかなか難しい課題になります。
まずボトルネックになっているところはどこか、というのをきちんと絞り込まなければいけません。
実のところ、VPSサーバをスケールアップしたところで早くなるとは限りません。
データをダウンロードするだけでも、リクエスト応答が遅いのか、データ送出が遅いのか、それともダウンロードしているネットワーク回線が遅いのか…といった具合にチェックポイントはたくさん存在します。
それらをきちんと見極めておかないと、お金をかけても効果が出ない、ということになりかねません。
そして、WebAssemblyで遅い部分といえば、大体はブラウザ上でのコンパイルです。
これはサーバに全く関係のないところなので、いくらサーバに手を入れても意味がありません。
ちなみに、WebAssemblyの読み込みは、ブラウザによっても変わってきます。
こちらの環境で試したところ、提示されたアドレスで画面が表示されるまで、Chromeで30秒、FireFoxで15秒弱でした。
ブラウザ側の読み込みが最適化されているかどうかも大きく関わってきますので、ブラウザを変えて試してみてください。