Kazimieras Paltarokas mirė 1958 m. sausio trečiosios naktį savo bute Vilniuje. Jo sekretorius Bronius Antanaitis, lydėjęs vyskupą paskutinės kelionės metu, vaizdžiai prisimena atsisveikinimą su vyskupu: „<…> Nelaukiant ryto, telefonu buvo pranešta visiems Vilniaus miesto klebonams apie Vyskupo Paltaroko mirtį. Septintą valandą aukojau šv. Mišių auką už mirusį Vyskupą prie altoriaus, prie kurio Ekscelencija aukodavo kas rytą tą pačią valandą. Auštant suskambo visų neuždarytų Vilniaus bažnyčių varpai, skelbdami skaudžią žinią. Telegrama pranešta ir Vatikanui. Skaudi žinia pasklido ne tik Vilniuje, bet ir visoje Lietuvoje. Dar neišaušus daug žmonių laukė eilėse prie namo Nr. 14 Liudo Giros gatvėje ir laiptinėje į trečią aukštą, kur gyveno Vyskupas, kad galėtų aplankyti velionį, pasimelsti, pareikšti pagarbą. Vos atidarius duris, žmonės, pagarbiai susikaupę, ėjo prie velionio nuo ryto iki vėlyvos nakties. Sausio 4-tą dieną, septintą valandą, vėl aukojau šv. Mišių auką prie velionio karsto. 10-tą valandą karstas buvo uždengtas ir išlydėtas į Šv. Teresės bažnyčią, prie Aušros Vartų. Sausio trečią dieną teko apsilankyti Vilniaus miesto vykdomajame komitete, kur vykdomojo komiteto pirmininkas Abišala nurodė velionį lydėti į bažnyčią Liudo Giros gatve, kurioje judėjimas buvo vienpusis ir priešingos krypties. Komunistų valdžia nenorėjo, kad būtų lydima Gedimino prospektu, pro Katedrą, kuri buvo uždaryta, tuomet vadinama Gorkio gatve, pro Šv. Jono bažnyčią. Komunistai baiminosi, kad žmonės pamatys iškilmingą bažnytinę laidotuvių procesiją ir žmonių reiškiamą pagarbą gerbiamam ir mylimam Vyskupui. Mašinų judėjimas Liudo Giros gatve buvo nutrauktas. Procesijos priekyje kryžius, juodos gedulo vėliavos, kunigai, apsirengę kamžomis, eina dviem eilėmis. Karstas su palaikais vežamas juodu katafalku su baldakimu, traukiamas dviejų juodų žirgų. Ant katafalko vienas didžiulis laurų vainikas. Už karsto velionio artimieji, gausi žmonių palyda. Atlydėjus į Šv. Teresės bažnyčią, karstas padedamas ant katafalko. Kunigai lotyniškai giedojo egzekvijas, po to šv. Mišios, kurias aukojo vyskupas J. Steponavičius. Lietuviškai pamokslą pasakė kun. Č. Krivaitis, lenkiškai – kun. Bekešas. Bažnyčios choras, kuris giedojo ir šv. Mišiose, sugiedojo lotyniškai „Libera“. Katafalkas vėl lydimas Liudo Giros gatve iki Šv. Rapolo bažnyčios. Čia, šventoriuje, nuo katafalko karstas perkeliamas į uždarą mašiną lydėti į Panevėžį.

Kaip gyvą Ekscelenciją kelionėse teko lydėti, taip ir paskutinėje kelionėje norėjau būti kuo arčiau. Sėdau prie velionio. Visi lydėtojai susėdo į mašinas. Tenka paminėti, jog mieste lydint velionį, žmonės sustodavo, vyrai nusiimdavo kepures. Tame pačiame name, Liudo Giros g. 14, gyveno muzikologas žydas. Jo sūnus teiravosi tėvo: „Kodėl tam žmogui, skirtingai nuo kitų, reiškiama tokia pagarba?“ Tėvas atsakė: „Jis vertas pagarbos“. Sausio 4-oji buvo šalta. Mašina skubėjo, bet dienos šviesa ėmė merktis. Įvažiavus į Panevėžio vyskupiją, Levaniškio kaime, pakelėse būriavosi žmonės su degančiomis žvakėmis rankose, laukė grįžtančio savo Ganytojo, suklaupdavo, laukdami įprasto palaiminimo. Deja, Ganytojo rankos jau buvo sunertos amžinam poilsiui, susitikimui su Viešpačiu amžinybėje. Iš amžinybės palaima, nes Vyskupas testamente užrašė: „Net miręs norėčiau jums patarnauti“. Artinantis prie Raguvos jau temo. Kelias ėjo tuomet per Raguvą. Pirmiausia pasitiko gūdus varpinės bokšto varpas, lyg apraudodamas karste grįžtantį ilgametį Ganytoją. Raguvos dekanas kun. Jonas Andrijauskas, pulkas žmonių su degančiomis žvakėmis rankose, su ašaromis akyse artinosi prie sustojusios mašinos. Atidarėme mašinos duris. Kanauninkas ir žmonės bučiavo karstą, laistydami jį ašaromis. Artėjom link Panevėžio, bet ir nakties tamsa artinosi, o žmonių pakelėse buvo vis daugiau. Koks kilnus žmonių jautrumas! Kas juos pamokė? Dėkingumas ir meilė mylimam vyskupijos Ganytojui! Pravažiuojant pro Miežiškių miestelį, klebonas kun. Petras Rauduvė laidotuvių procesiją sutiko liturgiškai apsirengęs kamža, juoda stula su juoda kapa apsisiautęs. Varpai gaudžia, žmonių minia su žvakėmis. Mašinai sustojus, atidarius duris, kunigas pašlaksto karstą šv. vandeniu, o žmonės bučiuoja karstą, ašaromis jį šlaksto. Susirinkusieji meldžiasi, sugieda „Viešpaties angelą“. Pakelėse visi žmonės su žvakėmis klaupiasi…

Skausmas ir rimtis sukaustė visus mirus Vyskupui Paltarokui. Bažnyčios padėtis sunki… Pasitikėjimas Vyskupu Paltaroku buvo didžiulis… O mirtis išsivedė Vyskupą!..

Jau buvo tamsu, kai prisiartinom prie Panevėžio. Didžiulė žmonių minia laukė grįžtančio Vyskupo. Deja, jau karste. Karstui vežti buvo parūpintos priemonės, bet vyrai neleido. Iškėlė karstą su palaikais ir nešė ant pečių pasimainydami iki Katedros apie 3 kilometrus. Graudingai aidėjo bažnyčių varpai, sutikdami mirusį Vyskupą. Iš katedros bokšto buvo nuleistos gedulo juostos. Vėl daugybė žmonių, gedulingai pasipuošusių, skausmu ir maldomis sutiko Vyskupą po 9 metų gyvenimo Vilniuje į savo statytą Katedrą amžinam poilsiui.“ Pasitiko Katedros klebonas prelatas Antanas Kripaitis, Panevėžio ir kitų parapijų kunigai. Karstas su palaikais buvo padėtas ant katafalko, parengto didžiosios navos viduryje. Už velionį Vyskupą aukojamos šv. Mišios. Pamokslą sakyti teko man, nors buvo labai sunku dėl taip artimo Vyskupo netekties.

Po atlydėjimo pamaldų, žmonėms prasiskirsčius, karstas su Vyskupo palaikais perkeliamas į šoninę navą prie Švč. M. Marijos altoriaus. Žmonės nuo ankstyvo ryto iki vėlyvos nakties nepertraukiama eile melsdamiesi artinosi pareikšti padėką, pagarbiai atsisveikindami bučiuodavo Vyskupo kojas, apautas violetinio šilko vyskupo kurpaitėmis.

Paskutinieji kelionės į Katedros kriptą žingsniai. Kryžius, gedulo vėliavos, procesininkai, kunigai baltomis kamžomis nusitiesia dviem eilėmis. Bažnyčios hierarchai, kunigai neša karstą. Už karsto velionio artimieji, giminės, prieteliai, tikintieji, didžiulė minia, netilpusi Katedroje. Aplink Katedrą procesija apeina du kartus. Katedros presbiterija leidžiamasi žemyn į Šv. Kazimiero koplyčią. Atidaryton nišon įdedamas karstas su Vyskupo palaikais. Atlikus apeigas, karstas užmūrijamas. Giesmės. Gedulo pietūs Katedros klebonijoje. Po jų išsiskirstoma į namus. Buvo labai graudu ir sunku grįžti į Vilnių. Skaudžiausios laidotuvės manam gyvenime, nes tai ne asmeniška netektis, o dviejų vyskupijų ir net visos Lietuvos!“ (Iš Vyskupas Kazimieras Paltarokas. Panevėžys, 1998, p. 94–97)

Palaidotas Panevėžio katedros kriptoje 1958 m. sausio 7 d. Dalyvavo 5 vyskupai ir 200 kunigų bei tūkstančiai tikinčiųjų. Nedelsiant Katedros kriptos nišoje, kur palaidotas Vyskupas Paltarokas, padaryta epitafinė lenta. Projektą parengė ir darbą atliko skulptorius Jonas Vasilevičius. Marmuro lentoje įrašas: „AtA vyskupas Kazimieras Paltarokas pirmas Panevėžio vyskupas ir Vilniaus arkivyskupijos kapitulinis vikaras, uolus evangelijos skelbėjas, gausių raštų autorius, nuoširdus jaunimo bičiulis, dosnus vargšų šelpėjas. Net miręs norėčiau dar jums patarnauti (V. K. P.)“.