Klasztor swój początek bierze od placówki misyjnej bernardynów w 1611 roku. Początkowo przynależał do prowincji polskiej, od 1637 do małopolskiej i od 1781 litewskiej. Właściwy klasztor powstał z fundacji Zygmunta III Wazy, którą datuje się na 27.10.1620 roku. Pierwszym przełożonym był o. Stanisław Bojanecki, towarzyszący królewiczowi Władysławowi w jego wyprawie moskiewskiej.  Klasztor został zlokalizowany na wzgórzu Wasilkowa i zbudowany według planu Wilhelma Appelmanna pw. św. Antoniego z Padwy. Zamieszkiwało go zwykle około 20 zakonników. Był on bogato uposażony. Oprócz obszernych ogrodów klasztor otrzymał od króla w nadaniu wsie: Jackowo, Hlinniki, Orzechino, Kołupajowo i Mieszczyno. W kościele klasztornym od początku znajdował się łaskami słynący obraz Matki Boskiej, udekorowany licznymi wotami, świadczące o żywym kulcie. Ten okres bytności franciszkanów trwał do 1655 r., kiedy to Smoleńsk po wojnie z Rzecząpospolitą przypadł państwu moskiewskiemu. Zakonnicy, eskortowani przez żołnierzy carskich, zostali odprowadzeni poza granice. Nie pozwolono im zabrać ze sobą cudownego obrazu. Pozostawili także cenną bibliotekę, za którą zakon otrzymał odszkodowanie. Zakon powrócił do Smoleńska w 2 połowie XVIII wieku. W 1781 r.powstała wówczas następna placówka zakonna, lecz w innym miejscu. W tym czasie prowadzili duszpasterstwo parafialne. W 1838 r.zbudowali murowany kościół pw.
Narodzenia NMP. Na skutek represji carskich placówka jednak powoli podupadała. Ostatnia wzmianka o franciszkanach w Smoleńsku pochodzi z 1855 roku. W 1992 r.do Smoleńska przybył o. Ptolomeusz Kuczmik, który podjął się zorganizowania od podstaw duszpasterstwa parafialnego przy dawnym kościele parafialnym z przełomu wieków XIX/XX. Obecnie parafia obejmuje całą gubernię
smoleńską i posiada kaplicę filialną w Wielkich Łukach. Szczególną troską klasztor otacza Polaków nawiedzających miejsce kaźni polskich oficerów w Katyniu. 21.09.1999 r.abp Tadeusz Kondrusiewicz dokonał poświęcenia odnowionego klasztoru z przylegającą do niego kaplicą publiczną. 23.05.2007 r.prowincjał erygował w tym miejscu klasztor filialny, następnie 27.05.2013 r.podniesiony do
rangi klasztoru niezależnego. Nadal trwają starania o zwrot parafialnego kościoła, w którym mieści się archiwum państwowe.