Llanddewi Brefi oedd safle’r synod eponymaidd – yn y flwyddyn 545, yn ôl rhai – lle bu’r sant, yn ôl Buchedd Dewi a ysgrifennwyd yn yr unfed ganrif ar ddeg, yn dadlau yn erbyn heresi Pelagiws. Tra oedd yn pregethu, cafodd y ddaear dano ei chodi’n wyrthiol, a oedd yn golygu bod ganddo lwyfan pregethu uwch lle gallai’r dorf a oedd wedi ymgynnull ei weld a’i glywed. Cadarnhaodd y digwyddiadau gwyrthiol yn y synod oruchafiaeth Dewi dros ei gyd-glerigwyr.

Mae’n bosibl bod yr eglwys mewn lleoliad uwch oherwydd ei bod ar safle gwyddgrug o’r Oes Efydd. Ymddengys fod hynny hefyd yn wir am Eglwys Sant Caron yn Nhregaron, nad yw ymhell iawn i ffwrdd. Mae afon Brefi yn llifo ar hyd un ochr i’r fynwent grom, a allai awgrymu pwysigrwydd crefyddol y safle cyn cyfnod Cristnogaeth hefyd.

Mae’r clas Celtaidd, sef brawdoliaeth o offeiriaid priod, a oedd yn llewyrchus yma yn tystio i bwysigrwydd parhaus Llanddewi Brefi. Yn 1287, cafodd y clas ei ad-drefnu gan yr Esgob Beck o Dyddewi yn goleg i ganonau seciwlar, a barodd tan y Diwygiad Protestannaidd. Yn ddiweddarach, yn ystod cyfnod Rhamantiaeth boblogaidd, denodd y lleoliad gwledig ac anghysbell hwn a’i hanes o ddefosiwn Cristnogol dysgedig, sylw’r Esgob Burgess o Dyddewi, ac yn 1809 bu’n ystyried sefydlu coleg hyfforddiant esgobaethol newydd yma. Fodd bynnag, cafodd tir ei roi’n rhodd yn Llanbedr Pont Steffan gerllaw, ac oherwydd hynny penderfynwyd sefydlu’r coleg yn y dref honno yn 1822. Mae’r coleg yn parhau’n rhan o Brifysgol Cymru Y Drindod Dewi Sant.

Mae’r tŵr mawreddog uwchben y man lle mae corff yr eglwys a’r transept yn croesi ei gilydd yn dyddio’n ôl i’r bedwaredd ganrif ar ddeg, yn ôl pob tebyg. Mae gweddill yr adeilad yn dyddio’n ôl i ddyddiad amhendant yn yr Oesoedd Canol, ond cafodd ei addasu’n helaeth a chafodd rhywfaint ohono ei ddymchwel yn ystod y ddeunawfed ganrif a’r bedwaredd ganrif ar bymtheg. R. J. Withers, pensaer Eglwys Sant Pedr yn Llanbedr Pont Steffan, a oedd hefyd yn gysylltiedig â gwaith mewn sawl eglwys arall yn nyffryn Teifi, oedd yn gyfrifol am sefydlogi gwaith adfer yn 1873–4 ac yn 1885–6, a adawodd yr eglwys fel y mae heddiw i bob pwrpas.