En un principio las relaciones entre el Conde de Haro y los vecinos son cordiales. Pero poco a poco les va quitando sus fueros además de subirles los impuestos. Los vecinos se rebelan y dejan de pagar tales.
1450. Las tropas del Condestable rodean la ciudad por todas partes. Los vecinos nombran a un aguerrido joven para que dirija las acciones de guerra contra el Conde. Este nombramiento y el recuerdo de aquel asedio es lo que se conmemora en la Fiesta del Capitán, declarada de Interés Turístico. Finalmente, tras un asedio de dos meses, el hambre y la sed doblegan la voluntad del populacho.
1492. Los Reyes Católicos crean el Ducado de Frías para la familia de Los Velasco.
Felipe V les quita más tarde su preeminencia en beneficio de los monjes del Monasterio de Oña.
