El 27 de junio de 1506 la reina Juana I de Castilla, la mal llamada Juana la Loca, le quitan todo. ¿Los culpables?, su marido y su padre. Es lo que se conoce como la concordia de Villafáfila.