Castilfrío posee antiguas casas señoriales, algunas de las cuales se hallan blasonadas, es decir, con escudos. Parece ser que una orden real obligó a los ganaderos de la Mesta que hacían uso de la Cañada Real Soriana a residir en el municipio, de forma que los grandes propietarios de ganado vivían allí -o cuando menos lo simulaban-, por lo que edificaron esas mansiones que han llegado hasta nuestros días.

Casi todas estas casonas pertenecen al siglo XVII. Son de piedra.

Su conjunto arquitectónico destaca por la armónica conservación de las casas serranas y señoriales de los ricos ganaderos de la mesta.