Popularmente al Hospital del Rosario se le ha denominado “Hospitalillo” y también a veces, Hospital de los Cartujos. Fue construido por Mencía de Velasco, quien en su testamento de 9 de febrero de 1517 dejaba todos sus bienes para construir un convento de Clarisas en Briviesca y acabado “se haga junto a él un Hospital para los pobres naturales de la villa”. La construcción del Rosario fue lenta, problemática y muy distinta a la idea y trazados previstos por doña Mencía, de tal manera que hasta 1603 no se dio por terminado el edificio que, ante todo resulta de una gran sobriedad.