Das Gebäude steht auf dem Gelände, auf dem sich der von Ezzelino III. da Romano, dem Tyrannen, der die Stadt von 1237 bis 1256 regierte, in Auftrag gegebene Hauptverteidigungspunkt der Stadtmauern befand.
Der so genannte Torlonga, der größere der beiden Türme, ist das bedeutendste Zeugnis davon. Nach dem Fall der Tyrannei wurden die Befestigungsanlagen aufgegeben: Erst im folgenden Jahrhundert, unter der Herrschaft der Carraresi, wurden die Räumlichkeiten als Burg wieder aufgebaut.
Die Carraresi ließen die beiden Türme in rot-weißem Schachbrettmuster bemalen und die Innenräume mit Fresken ausstatten; sie fügten einen erhöhten Durchgang hinzu, um die Burg mit dem Stadtzentrum und ihrem Palast, dem Zentrum der politischen und militärischen Macht, zu verbinden.
Mit dem Bau der Renaissancemauern und nach der langen Friedensperiode, die die Stadt unter der Herrschaft der Republik Venedig genoss, verringerte sich der strategische Wert des Castel Vecchio von Padua, wie es im 18. Jahrhundert mittlerweile genannt wurde.
Gleichzeitig wurde der Torlonga als Observatorium genutzt, eine Bestimmung, von der sich der Name Specola ableitet, nach einem Entwurf des Architekten Domenico Cerato.
Im folgenden Jahrhundert wurden die Räume der Burg als Gefängnis genutzt. Die Restaurierungsarbeiten der letzten zehn Jahre haben Spuren der Dekoration aus dem 14. Jahrhundert ans Licht gebracht und eines der wichtigsten architekturgeschichtlichen Güter Paduas in neuem Glanz erstrahlen lassen.
