Pierwszy, skromny domek mieszkalny i niewielka drewniana kaplica służyły franciszkanom kilkanaście lat.

Z fundacji Witolda wzniesione zostały kościół Wniebowzięcia Najświętszej Maryi Panny i klasztor w 1409 roku. Obie bu­dowle były drewniane. Budynek klasztorny spalony został przez innowierców w 1583 r., nie wiadomo jednak przez jakich. Pewne poszlaki wskazywałyby na kalwinów, ze względu na to, że skargę z tego powodu, jak zresztą i z racji dewa­stacji świątyni, którą ograbiono, powyrywano drzwi i okna, zburzono dzwonnicę i rozbito dzwony, złożyli franciszkanie do króla. Wskazywałoby to na dokonanie tego świętokradztwa przez poddanych królewskiej władzy, w przeciwnym razie, skarga nic miałaby większego sensu. Relacjonujący rozmiary zniszczeń dokonanych przez bandę innowierczą, ówczesny gwardian konwentu o. Adam Bolechowski podkreślił, że wandalizm napastników wypływał z ich niechęci do religii katolic­kiej. Około roku 1595 spłonął kościół. Służył zakonnikom i wiernym 180 lat.

Wizytujący w 1596 roku konwent w Drohiczynie, prowincjał franciszkanów Jan a Caputo stwierdził, że w pożarach i zniszczeniach, jakie dotknęły klasztor, zaginęły do­kumenty fundacyjne . Wizytator zastał już nowy drewniany kościół, zbudowany od fundamentów przez gwardiana o. Mateusza Studzińskiego . Rok wcześniej odbudo­wany, drewniany i słomą kryty klasztor wymagał pilnych remontów . W konwencie były trzy duże świetlice i dwa mniejsze pokoje. W kościele był tylko jeden ołtarz .

Pożary nadal nie oszczędzały miasta, a tym samym kościoła Wniebowzięcia NMP i klasztoru fran­ciszkańskiego. Obie budowle spłonęły w czasie wielkiego pożaru Drohiczyna w 1601 roku.Trzecia świątynia służyła więc zakonnikom i wiernym tylko przez 5 lat. Czwarty z rzędu kościół franciszkański w Drohiczynie, także drewniany, zbu­dowany został około 1615 roku z ofiar składanych przez wiernych na ręce kwe­starzy. Świątynia była większa od poprzedniej, pokryta gontem. W kościele znajdowały się trzy ołtarze: główny z wizerunkiem Matki Bożej; boczny, po pra­wej stronie, z obrazem świętej Anny w nastawie ołtarzowej; boczny po lewej stro­nic z wizerunkiem świętej Katarzyny. Fundatorem ołtarza świętej Anny byl „pan Oboźny", on też sprawił ławki do kościoła. W skarbcu świątyni przecho­wywana była srebrna monstrancja, puszka, pacyfikał i trzy kielichy mszalne. Cech młynarzy ofiarował nowy dzwon. Konsekracji, tego czwartego z kolei ko­ścioła franciszkańskiego w Drohiczynie, dokonał biskup sufragan łucki Stanisław Udrzycki w dniu 4 października 1618 roku.

Jak wynika z kolejnej wizytacji klasztoru w 1619 roku, przed czterema laty (1615) zbudowany został nowy budynek klasztorny pokryty podobnie jak kościół gon­tem. Ściany na zewnątrz wybielone były wapnem. W kościele, przy obrazie Matki Bożej z Dzieciątkiem, umieszczonym w nastawie głównego ołtarza, przybyło wiele przedmiotów ze srebra: dwie korony, lampa, relikwiarz, ramy do tablic ołtarzowych, ozdobny pacyfikał z dwudziestoma szlachetnymi kamieniami . Na chórze umiesz­czone zostały nowe ośmiogłosowe organy. Wizytator podkreślił widoczną na każ­dym kroku troskę gwardiana o. Bartłomieja Klucziaty o Kościół i konwent.

Najazd szewdzki w latach „Potopu" obfitował tu w dramatyczne wydarzenia. Wojska szewdzkie pod wodzą generała De La Garde, wspomagane przez Kozaków i hordy Rakoczego, przez 18 tygodni pustoszyły Drohiczyn ogniem i mieczem. Co najmniej czterech zakonników franciszkańskich (według niektórych relacji - sied­miu) zostało zamordowanych w 1657 roku w tutejszym konwencje. Z imienia zna­my tylko jednego z tych męczenników, brata Marka z Zawichostu.

Po wojnie spalony klasztor trzeba było odbudowywać z popiołów, a zdewa­stowany przez najeźdźców kościół remontować i wyposażać od nowa. Jak wyni­ka z inwentarza, sporządzonego przez gwardiana z Drohiczyna o. Antoniego Gałeckiego w 1678 roku w odremontowanym kościele były cztery ołtarze: głów­ny z wizerunkiem Matki Bożej oraz trzy boczne, świętego Franciszka, świętego Antoniego Padewskiego i Matki Bożej Różańcowej. Na ścianach świątyni wisiało ponad to osiemnaście obrazów różnej wielkości.

Wizerunek Matki Bożej z Dzieciątkiem, znajdujący się w nastawie główne­go ołtarza, otoczony był szczególną czcią wiernych. Zdobiły go dwie korony i srebrna szata wysadzona szlachetnymi kamieniami. Srebrne berło umieszczo­ne było w dłoni Matki Bożej, a Dziecię Boże trzymało srebrne królewskie jabł­ko. Na szyi Najświętszej Maryi Panny zawieszonych było dwanaście sznurów korali, pereł, „kamieni czeskich" i „muszelek francuskich". Wokół obrazu wi­siały liczne srebrne wota: 33 tabliczki, pięć „główek", dwie „nóżki" oraz dwo­je „srebrnych rąk".

Obraz świętego Franciszka z Asyżu, zdobiła srebrna aureola, a na piersi umie­szczone było srebrne serce. Na predelli ołtarza bocznego stał hebanowy krucyfiks ze srebrnymi inkrustacjami.

Wizerunek świętego Antoniego Padewskiego, trzymającego Dzieciątko Jezus, umieszczony w drugim bocznym ołtarzu, ozdobiony był nad głową Pana Jezusa i świętego patrona srebrnymi koronami wysadzanymi szlachetnymi kamieniami. W dłoni świętego umieszczona była srebrna lilia, a Dzieciątko Boże okryte było srebrną, pozłacaną szatą. Wokół obrazu wisiało szereg srebrnych wotów. Obraz Matki Bożej Różańcowej, w trzecim bocznym ołtarzu, był również ozdobiony ko­ronami i srebrną szatą.

Ofiarność wiernych sprawiła, że skarbiec kościoła franciszkańskiego zapełnił się znowu, po szewdzkim spustoszeniu, wieloma srebrnymi naczyniami litur­gicznymi i innymi cennymi przedmiotami. Była więc srebrna monstrancja, pusz­ka do Najświętszego Sakramentu, osiem kielichów mszalnych, w tym jeden „wszystek pozłocisty", pacyfikał srebrny z płaskorzeźbami ewangelistów, srebr­ny trybularz wraz łódką, taca, sześć srebrnych ampułek, sześć srebrnych lichta­rzy oraz wiele wotów wspomnianych uprzednio przy opisie poszczególnych ołtarzy.

Do kościoła Wniebowzięcia NMP dotykał skrzydłem drewniany klasztor. Z zakrystii było przejście wprost na korytarz konwentu. W piętrowym budynku znajdowały się pomiesz­czenia dla gwardiana, dalej siedem cel zakonnych, dormitorium, refektarz, biblio­teka, pokój gościnny, spichlerz a w piwnicy pod klasztorem loch z żelaznymi drzwiami . Z korytarza na parterze wiodły drzwi do sieni a stąd do ogrodu kla­sztornego. W budynku musiała być jeszcze kuchnia i spiżarnia, ale inwentarz o nich nie wspomina.