Costruito in opposizione al Castello di Mare (Colombaia),dove il mare di Tramontana incontra tramite un canale il porto della città, viene fatto risalire all'epoca punica. Si pensa che il Castello di Terra sia stato fatto edificare da Amilcare Barca, internamente al suo progetto di fortificazione della città. Quando gli aragonesi ristrutturarono le mura di Trapani nel XIII sec., anche il Castello di Terra fu modificato. Il Castello cadde in rovina e la struttura originaria fu ancor più depredata a seguito dell'allargamento della Questura. Oggi l'Agenzia del Demanio prosegue i lavori di messa in sicurezza. La torre del Castello di Terra è rappresentata sullo stemma della città di Trapani, con la torre Peliade, appartenente alla Colombaia, la Torre di Porta Oscura o Torre dell'Orologio, la Torre Vecchia e la Torre Pali oggi scomparsa.