El señorío de Casarrubios del Monte nace, en 1331, de la segregación del extremo meridional del sexmo del mismo nombre, la más extensa de las trece divisiones administrativas en que se organizaba el vasto territorio de la comunidad de Villa y Tierra de Segovia. Según la Gran Crónica de Alfonso XI, en mayo de dicho año, espontánea y sorpresivamente, Alfonso de la Cerda, el que había sido la más terrible amenaza del padre y abuelo de dicho monarca, reconoce solemnemente a su sobrino, Alfonso XI, como Rey de Castilla y León e hizo "carta de conoscimiento" en la que renunciaba definitivamente a sus derechos sobre dicha corona.
Evitando cualquier término que pudiera sugerir negociación o compensación por el gesto de Alfonso de la Cerda de otorgarse como su vasallo, la crónica prosigue "Et el Rey dióle parte de las rentas del su regno con que se mantuviese". Estas rentas a las que alude la crónica, son un conjunto de señoríos, la mayor parte hereditarios y restitución de su antiguo patrimonio parcialmente incautado en 1312, que la historiografía conoce como "señoríos de la recompensa"
por entender que fueron otorgados como compensación por la renuncia a la corona.Fuera por manutención o por compensación, por privilegio rodado dado en Almendralejo el 2 de mayo de 1331, se concedió a Alfonso de la Cerda entre otros el señorío de Casarrubios del Monte "por voluntad que habemos de vos hacer merced, y de vos heredar, damos vos que aiades por juro de heredad nuestros lugares de Casa Rubios del Monte aldea que fue de Segovia..."
A la muerte de Alfonso de la Cerda en 1335, pese a que se trataba, como hemos visto, de un señorío concedido por juro de heredad, Casarrubios no aparece entre los que transmite a sus hijos. Posteriormente, aunque desconocemos por qué vía llegó a serlo, fue señor de Casarrubios Alfonso Fernández Coronel, siendo éste uno de tantos señoríos que le fueron confiscados por el rey don Pedro en 1352, a raíz de su rebelión. En ese mismo año, don Pedro le hace merced de este señorío al Notario y Alcalde Mayor de Toledo, Diego Gómez de Toledo, en cuya descendencia permanecerá, por línea femenina, hasta doña Juana Enríquez, hija del Almirante de Castilla, casada con Juan II de Aragón y madre de Fernando el Católico. A partir de 1467 se inicia una historia muy confusa en el que se suceden como señores de Casarrubios, por diversas mercedes y confiscaciones regias, el Almirante don Fadrique, la infanta Isabel, (futura Isabel la Católica), el Contador Mayor de Castilla, don Gonzalo Chacón y el conde de Fuensalida, don Pedro López de Ayala. Finalmente en 1475, los Reyes Católicos confirman la merced de Casarrubios a don Gonzalo Chacón en cuyo linaje se perpetuó, siendo elevado en 1599 a la dignidad condal en la persona de don Gonzalo Chacón y Ayala que estaba casado con Isabel de Sandoval y Rojas, tía del I Duque de Lerma, flamante privado de Felipe III. Posteriormente se integraría por alianza matrimonial en la casa de los Duques de Peñaranda de Duero primero y en la de Alba después, casa esta última a la que actualmente pertenece el título condal.
El término del señorío de Casarrubios lo hemos tomado de Salvador de Moxó con las precisiones aportadas recientemente por David González Agudo quien demuestra que los lugares de Valmojado y Villamanta no se segregaron de la Villa y Tierra de Segovia, para incorporarse al señorío de Casarrubios del Monte, hasta 1467.