Isso está acontecendo por causa da resolução do lightmap.
Ele está muito pequeno para a distância que você quer que o modelo apareça. Nesse caso, as cores estão se misturando entre as ‘ilhas’ no mapeamento UV.
Se você aumentar a resolução do lightmap (se eu não me engano, essa opção fica no editor de malhas (clique duplo no seu modelo no Content Browser)), esse problema deve desaparecer.