Aangenomen wordt dat de stenen van de Tempel werden gebruikt door Romeinse en later Byzantijnse heersers om er hun paleizen mee te bouwen en een tempel voor Jupiter alsmede een kerk. Maar pas toen de Rotskoepelmoskee tussen 687 en 691 op de plaats van de Tweede Tempel werd gebouwd, zijn de laatste delen van de Tempel verdwenen.
Volgens reiziger en schrijver Mark Twain die de moskee bezocht, zijn er voor de bouw stenen gebruikt die op waren gegraven van de Tempelberg, die sinds het jaar 70 gedurende eeuwen vrijwel verlaten was gebleven.
