Se presupone la existencia de un torreón defensivo en la época romana.

931. A falta de datos más concretos se puede justificar la existencia de una fortaleza en este año.

Siglo XIII. Se documenta la construcción de un primer castillo, que irá sufriendo modificaciones y reformas a lo largo de los siglos.

En el interior del castillo se encontraba el Palacio de los Ponce. Estos fueron unos de sus primeros dueños, pasando después a los Rodriguez Neyra, los Quiñones, los Condes de Benavente, los Duques del Infantado.

Debido a éstos últimos, la villa cambia su antiguo nombre de Alija de los Melones por el actual de Alija del Infantado.

Siglo XV. De esta época o principios del siglo siguiente es la construcción del castillo, que llegará a contar hasta con trece torres, siendo de planta cuadrada, flanqueado por dos espacios cúbicos, contando en la muralla con dos pequeñas torres.

1808. El 29 de diciembre los ingleses se retiran, tras cañonear el Puente de la Vizana e incendiar villa y castillo, probablemente debido a que el XIII Duque del Infantado y Señor de Alija Pedro de Alcántara y Toledo, es aliado de los franceses.

1809. El anterior abraza la causa española, recibiendo el mando del Cuerpo del Ejército del Centro.

1825. Llega a ser Ministro de Estado reinando Fernando VII.

El castillo es reconstruído tras ser incendiado por los franceses.

1887. Sufre otro incendio y las ruinas se empiezan apoderar de él.

2003. Se reconstruye quedando con el aspecto que tiene en la actualidad.