ビルド時間を短縮する方法

直接的な解決とは少し違うかもしれませんが

下記のリンクにあるように、Module単位での再コンパイルが可能です。

IDEから直接起動する際の時間は変わらないかもしれませんが、Hot ReloadであればModule単位で行えます。

自作プラグインでC++のホットリロードを行う

また、少し情報が古いですがIWYUを使用することでコンパイル時間が改善されるようです。

実際に検証したわけではないため、どれくらい改善されるかは分かりませんが参考までに

IWYU Reference Guide