まずは「何なら妥協してよいのか」「何はこだわりたいのか」を仕分けしてみてください
そして妥協して良い部分から少しずつ削っていく形になります
一切妥協したくないなら最適化することを諦めることになりますが…未来のハードウェア性能の向上に期待するのも良いでしょう
例えば、必ず遠景に配置され、仕様上絶対に近くで見ないMeshがあるとします
その場合、ディティールの細かさはそこまで必要ない場合が多いです
であれば、その部分のTextureSizeやMeshのポリゴン数は削減しても良い部分になるでしょう
なお、どこか1箇所変えたら見た目そのまま劇的に軽くなる、という最適化は存在しません
ですので、地道に1箇所ずつ仮説を立てて検証する必要があります
まずは下記のスライドを読んでみるとよいでしょう
これが本格的な最適化の入口になります