A herpályi csonka torony több mint egy évszázada magányosan áll Berettyóújfalu mellett, a Klastromdűlőben, az Egyházsziget és Paperdeje határrészek szomszédságában. Rommá vált templom maradványaként mered az égnek, s ahogy a feltáró régész, Módy György írja, távolról olyan, mint egy tű foka. „A XI. században a falu birtokosáról vagy talán első szerény temploma védszentjéről, Paulus, Pál a birtoklást jelölő -i képzővel kapta a Pályi nevet. Ezt váltotta fel hamarosan a többi Bihar megyei Pályi nevű falutól való megkülönböztetés céljából az Érpályi név. Ez az elnevezés torzult a későbbiekben Herpályra.
1806-ban a csonka torony dombján még látható volt a két hatalmas, majdnem ép torony, a templomhajó, sőt a szentélyek, a déli sekrestyekápolna felmenő falainak romjai is. Az életveszélyesnek ítélt északi tornyot 1842-ben lebontották. 1854-ben a terület birtokosa lehordatta a déli torony felső emeletét, mert annak ledőlésétől lehetett tartani. 1858 körülre a korábban még látható falmaradványok is elenyésztek. Tégláikat elhordták, az alapokat betemette a föld. A déli torony ettől kezdve vált magányos, csonka toronnyá. Rómer Flóris, a magyar régészet egyik nagynevű megteremtője 1878-ban felkereste a romot. Mind ő, mind Bunyitay Vince, a nagyváradi püspökség történetének írója megállapította, hogy az nem tartozhat falusi templomhoz, hanem egy Árpád-kori apátsági templom maradványa. A rom azonban tovább pusztult, majd csak 1904-ben végezték el a szükséges kiegészítéseket, falazták fel a hiányokat, és látták el tetővel a tornyot.
1940-re állapota újból leromlott, 1944 őszén pedig belövések elpusztították a kialakított tetőrészt, az emeletének egész északi, szinte teljes nyugati falát, valamint a délkeleti sarokrészt. Komoly rongálódás érte a bejáratot és az északnyugati támpillért is. A romterület azután sokáig egyfajta senki földje volt. A csonka torony már teljes pusztulásra volt ítélve, amikor 1959. nyár elején a megyei építőipari vállalatok műemlékbarát munkatársai helyreállították. Végre 1972–1976 között építéstörténeti és régészeti kutatás folyt, amit műemléki helyreálítás követett.”
A kutatás eredményeként egy háromhajós, reprezentatív, nyugati toronypáros, nagyméretű kolostortemplom alaprajza tűnt elő a feltáró és helyreállító szakembereknek. Építési idejének meghatározásánál a következőket vették figyelembe. Először is az építtetők rangját, gazdagságát hirdető nyugati toronypár magyarországi megjelenését, ami a XII–XIII. század fordulójára tehető. De Ják, Lébény, Mórichida, Ócsa, Türje, Zsámbék példája mutatja, hogy nagyobb arányban csak a XIII. század első felében terjedt el. A meghatározás körébe vonható az egyenes szentélyzáródás is, amely a bencés rend építkezéseinél a XIII. század első felében jelent meg. Kormeghatározó szerepük van a templombelső négykaréjos pilléreinek is. A gyulafehérvári székesegyházban láthatunk ilyeneket, ugyanúgy, mint nyugati toronypárt és nyitott előcsarnokot.
Az impozáns nemzetségi monostort bizonyára gazdag, előkelő család építtette. A prépostság alapítója személy szerint ismeretlen, de későbbi időkből származó adatok szerint az Ákos nemzetség volt a kegyura. Az alapítás pontos ideje is homályba vész. Az nem vitás, hogy az 1234. évi Ninivei katalógusban már szerepel, sőt ugyanebben az ábrányi prépostság mint a pályi filiája van feltüntetve. Tehát bizonyos, hogy a pályi monostort 1234 előtt alapították.
A Szent Pál-prépostság túlélte a tatárjárást, valószínűleg a török idők alatt pusztult el. Az utolsó adat 1552-ből származik. Egyházmegyeileg Váradhoz, szerzetesrendileg Váradhegyfokon keresztül a premontreiekhez kapcsolódott. Vagyis ez a rom két karnyújtásnyira volt (van) Európától.