Roudnice patřila od raných dob českého státu pražskému biskupství. Biskup Jan IV. z Dražic se při svém pobytu v Avignonu seznámil s působením řádu augustiniánů – kanovníků a roku 1333 pro něj v Roudnici založil klášter.  Komunita řeholních kanovníků se řadila k nejvýznamnějším dobovým ohniskům vzdělanosti. Za husitských válek byl klášter opakovaně vypleněn a jeho pozemkový majetek rozkraden.  Ze slavných časů kláštera se kromě jádra budov dochovalo mnoho vzácných rukopisů, rozptýlených dnes v různých archivech a čtyři významná gotická výtvarná díla, vystavená v Národní galerii (Roudnická Madona, fragment Roudnického polyptychu, Votivní obraz Jana Očka z Vlašimi a trojdílná oltářní archa Smrti Panny Marie. V kostele lze vidět jejich kopie). Na skále nad klášterem stojí zvonice, upravená do stávající podoby v roce 1715. Jsou v ní zavěšeny tři památné renesanční zvony, z nichž největší váží asi 4,5 tuny. V ohradní zdi kostela vyvěrá Rudný pramen, podle kterého údajně získalo město své jméno.