Dnia 21 lipca 1773 r. papież Klemens XIV (1768-1774) skasował zakon jezuitów. Ostatnim rektorem kolegium w Drohiczynie (1770-1773) był ks. Jan Stankiewicz (1711-1791), który po kasacie zakonu pracował tutaj jako proboszcz jezuickim.

Dnia 14 września 1774 r. Komisja Edukacji Narodowej przekazała kolegium pojezuickie księżom pijarom. Rok później Sejm Rzeczypospolitej przyjął uchwałę o przekazaniu pijarom parafii drohickiej i całego beneficjum. Ale to postanowienie zostało wykonane dopiero po 2 października 1791 roku.

W ramach represji popowstaniowych w 1832 roku władze zamknęły szkołę i nowicjat, a w 1845 roku skasowały klasztor księży pijarów.