UnrealEngineのレンダリング機能を3Dライブラリとして使用したい

不可能か可能かと言えば可能だと思います。
現在、アーケードゲームで稼動している鉄拳7では主にレンダリングエンジンのみを採用しているそうです。

ただし、レンダリングと言っても様々な部分があり、DirectXに依存しているような部分は切り離せません。
もちろんウィンドウシステムも独自の仕組みを使っているので、Qtなどに組込むのも難易度が高いと思います。
こればかりは高度な専門技術が必要になってくるので、エピック社などの協力も必要になってくるかもしれません。

あと、一点注意をしたいのが、UE4のソースコードを一行でもプロジェクトに混入させた場合は、
ライセンス契約が発生し、ロイヤリティーの支払い権も発生しますのでご注意ください。