Panevėžio Kristaus Karaliaus katedros kapinės (Ramygalos g.) įkurtos 1914 m. nedideliame bažnyčiai priklausiusiame sklype. Vėliau kapinių teritorija praplėsta panevėžiečių dovanotais sklypais. Po Pirmojo pasaulinio karo kapinės sparčiai pildėsi. Žinutės tarpukario Panevėžio spaudoje liudija nuoseklias kapinių tvarkymo ir gražinimo pastangas: „Naujieji kapai kan. [Povilo] Šidlausko rūpesčiu, matyt, virs gražiais, europiškais, pavyzdingais kapais. Jau dabar tiesūs takai ir takeliai išbesti ir medeliais nusodinti. Tik šiaip žmonės nelabai mėgsta savo kapus sutvarkyti. Kitais metais tveriama nauja tvora ir statomi patogūs ir gražūs sargui nameliai, kuris ir kapus turės labiau prižiūrėti“ (Panevėžio balsas, 1932 05 22).

Jau antrą šimtmetį skaičiuojančios kapinės tapo reikšminga miesto atminties vieta: čia palaidoti kariai savanoriai, dvasininkai, ne vienas Panevėžio šviesuolis.

Akį patraukia kapinių pradžioje stovintis paminklas kunigui, Švč. Trejybės bažnyčios rektoriui, poetui, švietėjui, labdaros organizatoriui Jurgiui Tilvyčiui-Žalvarniui (1880–1931). Pristatome fotografiją, kurioje užfiksuota paminklo atidengimo akimirka – iškilmių metu pamokslą sako Panevėžio Kristaus Karaliaus katedros klebonas kanauninkas Povilas Šidlauskas. Ši vieta pažymėta dramatišku įvykiu: 1931 m. gruodžio 24-ąją, Kūčių dieną, kunigas J. Tilvytis čia laidojo vienuolį marijoną, Marijonų bažnyčios zakristijoną Gabrielių Gylį. Pamokslo metu ištaręs žodžius „budėkite tad, nes nežinote nei dienos, nei valandos…“, J. Tilvytis staiga mirė. Nors dvasininkas buvo palaidotas Marijampolėje, marijonų vienuolių kapinėse, Panevėžio Kristaus Karaliaus katedros klebono P. Šidlausko bei tretininkų organizacijos iniciatyva buvo nutarta Ramygalos g. kapinėse pastatyti paminklą kunigui J. Tilvyčiui-Žalvarniui atminti. 1935 m. spalio 22 d. „Panevėžio garse“ rašoma: „[Panevėžio] katedros klebono kan. [P.] Šidlausko rūpesčiu Panevėžio tretininkai Katedros kapinėse stato paminklą – iš balto dirbtinio marmuro Švč. P[anelės] Marijos statulą. Darbas dail. [Stasio] Stanišausko. Kainuos su aptvėrimu apie 1800 litų“. 1936 m. rugsėjo 23 d. buvo atidengtas ir pašventintas paminklas – Švč. Mergelės Marijos Nekaltojo Prasidėjimo skulptūra. Paminklo postamentą papuošė bareljefinis medalionas su kunigo J. Tilvyčio atvaizdu ir memorialinis įrašas: Kun. Jurgis / Tilvytis / Žalvarnis / 1880–1931 / M. J. C. / Čia besakydamas / pamokslą mirė [1931] XII 24 / Palaidotas Marijampolėje /. Paminklą pašventino kunigas marijonas tėvas J. Senkus, o pamokslą pasakė kunigas P. Šidlauskas, iškeldamas idėją, kad kunigo J. Tilvyčio palaikai iš Marijampolės būtų perkelti į Panevėžio katedros kapines ir palaidoti prie jam skirto paminklo. Sumanymas liko neįgyvendintas.

Nuo to laiko prie šio paminklo laidojami kunigai. 1973 m. gegužės 24 d. čia amžino poilsio atgulė ir paminklo pastatymą inicijavęs ilgametis Panevėžio katedros klebonas kunigas Povilas Šidlauskas.