A l'origine de ce palais, se trouvait un castel féodal sans prétention ; mais lorsque le maître des lieux, Jacques d'Estampes, épousa vers 1540 la fille d'un riche financier, chacun y trouva son compte, avec la particule pour l'une et une nouvelle demeure pour l'autre.

Cette naissance sous le signe de la Finance marquera Valençay pour longtemps, puisqu'il appartiendra ensuite à plusieurs Fermiers Généraux et à John Law, tristement illustre dans ce milieu.
Le Château connaît ses années de magnificence plus tard, en devenant la propriété de Talleyrand, et c'est à cause du "diable boiteux" que Valençay sera choisi, en 1808, comme prison dorée pour les princes d'Espagne, déchus lors de l'Empire.