Po wurzuceniu Pijarów z Drohiczyna, parafię, kościół i klasztor przekazano duchowieństwu diecezjalnemu, a gmach kolegium przeszedł pod zarząd świecki. Pierwszym proboszczem diecezjalnym został w dniu 15 sierpnia 1845 roku ks. Stanisław Roszkowski (1845-1850). Kolejną represją było skasowanie w 1883 r. szkoły pijarskiej. Klasztor wymagał pilnego remontu, dlatego też w 1885 roku ks. Roman Jaworski (prob. 1885-1887) rozebrał jedno skrzydło, ponieważ było najbardziej zniszczone.

Kościół pw. Trójcy Przenajświętszej, jako jedyny w Drohiczynie, nie został zamknięty i zdewastowany w czasie zaboru rosyjskiego. Dopiero okupacja sowiecka w latach 1939-1941 doprowadziła do całkowitej dewastacji wnętrza świątyni. Porąbano doszczętnie barokowe ołtarze, a wewnątrz świątyni urządzono stajnię. Ówczesny proboszcz (1937-1946) ks. Edward Juniewicz (1894-1989) zdołał ocalić jedynie osiem spośród 38 obrazów oraz dwie spośród 153 rzeźb, wszystkie kielichy i niektóre ornaty. W latach 1941-1944 kolejni okupanci - Niemcy - urządzili tutaj strzelnicę.