Paberžės dvaro savininkas grafas Šilingas 1787 m. pastatydino medinę bažnyčią, kuri greitai sudegė. 1858 m. buvo pastatyta (stovinti ir dabar) medinė švč. Mergelės Marijos apsilankymo bažnyčia. 1856-1863 m. 1966 m. į Paberžę buvo paskirtas vienuolis kapucinas, kunigas Algirdas Mykolas Dobrovolskis - Tėvas Stanislovas. Kunigas suremontavo ir išpuošė bažnyčią, sutvarkė kaimo kapinaites.Šventoriuje ir kapinėse jis pastatė originalių paminklų, klebonijoje ir šalia esančioje klėtelėje įkūrė unikalių bažnytinių rūbų, meno kūrinių muziejų.
