Cele mai vechi părți ale clădirii datează din 1094. În jurul anului 1270 a fost construită o sinagogă mai mare, care includea părți din clădirea mai veche. Zidul vestic al clădirii datează din această perioadă. Acesta are cele șase ferestre originale. Un alt etaj a fost adăugat la începutul anilor 1300.
În 1349, mulți oameni au murit din cauza bolii "Moartea Neagră". Oamenii spuneau că a fost vina evreilor. Evreii au fost uciși și obligați să părăsească orașul. Acest pogrom este cunoscut sub numele de Masacrul de la Erfurt. Sinagoga a fost avariată, iar Consiliul Local Erfurt a preluat controlul asupra clădirii. Ulterior, a vândut-o unui om de afaceri local. Acesta a folosit-o ca depozit și a făcut modificări în interior, inclusiv a construit o pivniță. În următorii 500 de ani a fost folosită pentru depozitarea bunurilor.
Începând cu secolul al XIX-lea, clădirea a fost folosită ca sală de bal, restaurant și chiar ca sală de bowling. Aceste schimbări au însemnat că vechea sinagogă a fost în mare parte uitată. Istoria sa nu a fost recunoscută, ceea ce a contribuit la protejarea sa în perioada nazistă.
La sfârșitul anilor 1980 a existat un interes reînnoit pentru vechea clădire. Istoricul de arhitectură Elmar Altwasser a început să o cerceteze în 1992. Consiliul municipal Erfurt a cumpărat proprietatea în 1998 și a cercetat-o și conservat-o. Au fost conservate toate etapele istoriei clădirii, nu doar utilizarea ei ca sinagogă.
În 2007, arheologii au descoperit o baie rituală evreiască rară și bine conservată, un Mikveh, nu departe de Sinagoga Veche. Aceasta a fost construită în jurul anului 1250.
În 2015, Sinagoga Veche și Mikveh, precum și o casă de piatră din centrul medieval al orașului Erfurt, construită tot în jurul anului 1250, care a aparținut evreilor, au fost propuse ca sit al Patrimoniului Mondial. Acesta a fost inclus provizoriu pe listă, dar nu s-a luat o decizie finală.
