Antiguamente existía en Ampudia una fortaleza o alcázar anterior.
1188. Alfonso VIII dona la villa a su hija doña Berenguela como parte de su dote.
Siglo XIII. Pertenece a Beatriz de Suavia y más tarde a doña Violante.
1296. Es posesión del infante don Juan, sublevado contra Fernando IV.
El rey decreta que otorgará Ampudia a quien pueda conquistarla. Pero el noble Juan Núñez de Lara se alía con el infante y retiene la villa en su poder.
1297. En diciembre, la madre del rey, María de Molina acude en ayuda de su hijo. Tras un asedio de cuatro días consigue rendir el lugar mientras Juan Núñez de Lara escapa hacia Torrelobatón, obteniendo el perdón de su vida a cambio de la villa de Ampudia.
Después, el lugar pasa a pertenecer a María de Portugal, esposa de Alfonso XI.
1354. Ampudia es conquistada por Pedro I el Cruel, quien se la cede a su favorito, Juan Alfonso de Albuquerque.
Pedro I muere en Montiel.
Su hermanastro Enrique II, dona la villa a su hermano, el Infante Sancho.
Siglo  XIV. A principios del siglo, el  Obispo de Palencia, Sancho de Rojas dona Ampudia a su sobrino Pedro García de Herrera.
1419. Este último obtiene privilegio del rey Juan II para fundar mayorazgo en la villa.
1455. Muere Pedro García, sucediéndole su hijo, García López de Ayala, quien está casado con María Sarmiento.
Ellos son los que levantan el actual castillo, entre 1461 y 1488, dando fé de ello, los escudos de armas que se encuentran en las principales dependencias interiores.
1485. Les sucede su hijo Pedro Ayala y Rojas, Conde de Salvatierra, quien se enfrenta a su propia madre, María Sarmiento, arrebatándole el castillo por la fuerza.
1521. Durante la Guerra de las Comunidades, toma partido por la causa comunera, siendo tomado el castillo poco después por Francés de Beaumont, lo que provoca la venida de Juan de Padilla y el Obispo Acuña.
Tras cuatro días de asedio lo reconquistan, mientras los realistas buscan refugio en Torremormojón.