Źródło
- Józef Jaroszewicz "Drohiczyn - Opis historyczny", Athenaeum 1847
- Zygmunt Gloger "Dolinami rzek", Warszawa 1903
- Wiktoryn Kuczyński "Pamiętnik 1668-1737"
- Tygodnik Ilustrowany 1873 Tom XI Nr 262 - 287 Seria II
Historia zamku Drohickiego łączy się ściśle z historią samego miasta. Został w 1240 roku zburzony przez Tatarów, odbudowaniu przez Erdziwilla, zdobyty przez Trojdena w 1274 roku, potem przez Janusza Księcia Mazowieckiego (1382 r.) i zniszczen przez Jagiełłę w 1383 roku. Ostatecznie jego zburzenia w 1657 roku dokonały bandy Rakoczego i Szwedzi Karola Gustawa. W tym jednak czasie, kiedy go Szwedzi burzyli, nie była to już warownia, ale tylko obszerniejsze zabudowania, mieszczące w sobie jurysdykcje powiatowe. Jakoż Gwagnin, który pisał w 1611 roku wymieniając ówczesne zamki podlaskie w Surazie, Tykocinie i Mielniku, o Drohiczynie powiada, ze tam jest tylko dwór królewski „kędy się sprawy sądów szlacheckich odprawują”. (Opisanie Polski p. 261, 262 w tłumaczeniu).
Czy po ustąpieniu Szwedów nowe jakie budowle na temże miejscy wzniesione zostały, czy juryzdykcje sądowe przeniesione były do miasta, z pewnością nie wiemy. Zdaje się jednak, że nie miało to miejsca, gdyż i sądy były później w mieście.
Na Górze Zamkowej na początku XVII w. usytuowana była wieża z aktami ziemskimi i grodzkimi. Urzędowali tam Walenty Kuczyński, sędzia grodzki drohicki (zm. 7 X 1688 r.) i jego syn Wiktoryn Kuczyński zatrudniony w kancelarii w 1687 roku. Jako regent dozorował pracę kancelarii w 1688 roku. Wieża była symboliczną rezydencją kasztelanów podlaskich.
Jak pisze Jaroszewicz, na samej Górze Zamkowej, jak pamięć ludzka zasięga, widziano tylko nie wielki w kwadrat wymurowany domek, który w sobie mieścił górną i dolną wieżę, czyli miejsce na areszt cywilny i więzienie kryminalne dla szlachty. W roku 1788 wieża ta została rozebrana, a z jej materiału zbudowano nową śród miasta przy domie sądowym. Około 1845 roku owa wieża należała do sukcessora Olszewskiego i pustkami stała.
Sama Góra Zamkowa, na której stała niegdyś warownia, znacznie już zmieniła swą dawną postać. Zamek zniszczyła ręka ludzka, górę zaś czas, a bardziej wody Bugu ciągle ją podmywając. Do tyla uszczupliły, że jej wierzchołek, na którym przed kilkodziesięcią laty, uczniowie szkoły Drohiczyńskiej jeszcze w piłkę grać mogli, dziś tak wąską przedstawia płaszczyznę, że dla małej nawet budowli nie byłoby na niej miejsca. W górze tej od strony Bugu widzieć można loch w ziemi rznięty, do którego niegdyś musiało być wejście z wierzchu, które się z czasem oberwało (informacja z około 1845 roku).
Z innych źródeł dowiadujemy się, że od strony południowo-wschodniej, na 20 łokci (11,4 m) w górze, znajduje się mały otwór, prowadzący do dwóch okrągłych grot, złączonych ze sobą wąską szyją. Mają one wysokości 3,5 łokcia (2 m), obwodu po łokci 30 (17,1 m). Nie ma w nich znaków cegieł; gdy wszakże uderzyć nogą, wydają echo, podobne do odgłosów piwnic sklepionych.
Zygmunt Gloger w swojej książce z 1903 roku pisze następująco. "W połowie wysokości góry od strony rzeki dostrzegliśmy otwór. Po spadzistej, a po deszczu nader trudnej do wyjścia pochyłości, dostaliśmy się do tego otworu, który wprowadził nas do ciekawej pieczary, wykutej w opoce. Pieczarę stanowił prosty, wązki na trzy kroki korytarz, długi na kroków kilkanaście. W obu jego bokach znajdowały się po dwie przeciwległe sobie nisze, czyli wgłębienia, co nadawało lochowi podobieństwo do wnętrza miniaturowego kościółka, z czterema kapliczkami. Pieczara ta wszakże w czasach dawnych, gdy na górze stał zamek była najpewniej więzieniem, lub skarbcem, a nie świątynią. W każdym razie musiała być znacznie dłuższą, bo zaczynała się w części góry, już dziś nie istniejącej, ta zaś część pieczary, która obecnie pozostała, stanowiła tylko zakończenie, do którego woda z deszczów naniosła sporo ziemi zewnętrznej. Niszczenie góry od strony Bugu odbywa się powoli, bo opoka gliniasta, z której się góra składa, jest tak twarda, że na ścianach pieczary, znaleźliśmy nazwiska zwiedzających, zapisane tu przed laty dwudziestu. Jeżeli zważymy, że pomimo takiej oporności opoki, tak znaczna część góry, może połowa, podmytą i zniszczoną już została, a na pozostałym jej wierzchołku niema już miejsca na zamek, to musimy przyjść do przekonania, że tylko za bardzo dawnych czasów, zamek warowny mógł być na górze Drohickiej założony w tem miejscu."
Podanie miejscowe, będące zwykłą baśnią ludową, do wszystkich naszych zamków przywiązaną, powiada, że góra ta usypaną, była rękoma jeńców wojennych, że we wnętrzu swojem zawiera podziemia pełne skarbów, że podziemia te pełne łączyły niegdyś zamek Drohicki z klasztorem Franciszkanów, w którego lochach miały znajdować się tajemne drzwi żelazne do tego przejścia na zamek.