Kościół wraz z zespołem klasztornym na Karczówce ufundował biskup krakowski Marcin Szyszkowski. Było to wotum dziękczynne za ocalenie Kielc od szalejącej w Polsce w 1622 roku zarazy. Budowę kościoła pod wezwaniem św. Karola Boromeusza ukończono w 1628 roku.
W 1629 roku biskup krakowski Marcin Szyszkowski wystąpił z inicjatywą sprowadzenia na Karczówkę ojców bernardynów. Podjęto decyzje o rozbudowie kościoła o zabudowania klasztorne. W 1631 roku zakończono budowę zabudowań klasztornych i sprowadzono do nowego klasztoru bernardynów.Klasztor bernardynów odegrał znaczącą rolę w historii Polski, a zakonnicy brali czynny udział w ruchu narodowo-wyzwoleńczym w trakcie powstania Styczniowego.
Właśnie patriotyczna postawa bernardynów w trakcie powstania Styczniowego stała się pretekstem dla podjęcia przez władze carskie decyzji o likwidacji klasztoru bernardynów w 1864 roku. Bernardyni mieli swój klasztor na Karczówce przez 203 lata, ale już nigdy nie powrócili na Karczówkę.
Za murami klasztoru, po jego północnej stronie, znajduje się pomnik ufundowany w 1930 roku ku czci poległych w powstaniu styczniowym. Na pomniku została wmurowana tablica z napisem Zbiorowa mogiła powstańców 1863.
