Pergalingo Kryžiaus ir Šv. Vaitiekaus bažnyčia (dabar – Šventojo Kryžiaus bažnyčia) Pilies gatvėje – katalikų bažnyčia, pašventinta 1862 metais. Jos statyba pradėta prieš trejus metus, 1859 metais. Bažnyčia pastatyta keleriais metais anksčiau (1853 m.) sušauktos Katalikų gminos (Lenkijoje naudojamo administracinio suskirstymo teritorinis darinys) reikmėms. Jos bendruomenė sudarė kelis procentus bendrojo miesto gyventojų skaičiaus. Visoje gminoje gyveno vos 1000 katalikų. 1900 metais buvo pastatytas bažnyčios bokštas. Iš pradžių jis buvo žemas, sunkus, tik šiek tiek aukštesnis nei bažnyčia, dengtas keturšlaičiu stogu, paskui buvo pastatyti du papildomi aukštai, bokštas įgijo aukštą, smailą stogą. Tai suteikė statiniui dar didesnį lengvumo ir dailumo efektą. Kitoje nelabai plačios, smėlėtosios Pilies gatvės pusėje kartu su bažnyčia buvo pastatyta ir klebonija (vok. Pfarrhaus). Pokario sumaištį pastatas atlaikė. Mediniai neogotikos interjero elementai – altoriai, sakykla, klausyklos, vargonų prospektas – liko nepažeisti.
