Il nucleo più antico del Castello di Padova risale ai tempi di Ezzelino III da Romano, tiranno della città dal 1237 al 1256. Di questo castello si sapeva che era stato iniziato nel 1242, che possedeva due alte torri, e che la maggiore di queste era stata adibita dal tiranno a terribile prigione, nella quale fece morire intere famiglie padovane.
Come racconta Angelo Portenari nella sua storia padovana Della felicità di Padova del 1623, "Si ritrova nel primo solaio di quella [torre] che risguarda la campagna, una bocca a guisa di sepoltura, per la quale il crudelissimo tiranno calava con funi gli infelici Padovani in horrendissime prigioni a morire di fame […]". Lo stesso autore riporta una cronaca più antica, dalla Storia di Pietro Gerardo del 1543: "[…] et così ogni giorno Ezzelino hor questo or quello incolpando di tradimento, parte incarcerava, et parte confinava in varij luochi; onde molti si nobili qual popolari […] fuggiano de la cità per salvar la vita: lasciando moglieri, figliuoli et facultà: contra quali procedeva come ribelli de lo imperio, publicando, et confiscando lor beni, et imprigionando le moglieri, et figliuoli: rovinando lor palazzi, et torri fin su li fondamenti". Il solaio di cui parla Portenari è situato a nove metri dal suolo, nella torre della Specola, nell’ambiente denominato oggi è ‘Sala dell'Iscrizione’.