Siguiendo el modelo de la puerta del Castell Nuovo de Nápoles construido por Alfonso el Magnánimo, se construyeron estas Torres de Quart como puerta de la muralla cristiana entre los años 1441 y 1460. Las otras puertas de la muralla eran las Torres de Serranos, orientada al norte y las ya desaparecidas Puerta de San Vicente, al sur y la Puerta del Mar, al este.

El nombre de Torres de Quart se debe a que por ahí salía el camino que desde la catedral en el centro de la ciudad conducía hasta el pueblo de Quart de Poblet. Quart, a su vez, viene de la ciudad romana que se llamó «Quartum Miliarium» porque ahí se encontraba la cuarta piedra (miliarium) que señalaba cuatro millas desde Valencia: 1.481 metros multiplicado por 4.

Tradicionalmente se las conocía como las puertas de la cal porque toda la cal que llegaba a Valencia tenía que entrar por esta puerta.

A diferencia de las Torres de Serranos, estas sí que sufrieron los rigores del combate de varias guerras. Cuando observes su aspecto, no pienses que es dejadez o abandono. Se mantienen así para constatar y no olvidar las señales del bombardeo que sufrieron el año 1808 durante el asedio de las tropas francesas a la ciudad en la guerra de la Independencia. Las almenas que ahora lucen tan bonitas son una restauración realizada en la década de 1950 porque las originales se destruyeron durante la guerra de Sucesión española (1710-1713). Fueron declaradas Monumento Nacional el año 1931.

Se utilizaron como cárcel de mujeres desde 1623 y posteriormente como prisión militar desde 1813 hasta 1932.