En 1020 Brest fue capturada por el rey de Polonia Boleslaw el Bravo, pero en 1022 la ciudad fue reconquistada por Jaroslav el Sabio. En 1210, Brest fue capturada por Konrad Mazowiecki y Leszek Krakowski, pero en 1213 el ejército ruso de Danylo Halytsky devolvió la ciudad. En 1227-1228, el destacamento de Yatvia de Stegut Zibrovych fue derrotado cerca de Brest, y el propio Stegut fue asesinado por el voivoda de Volyn Shelv.
En 1241 Brest fue completamente devastada por los tártaros. Reconstruida por los príncipes de Volyn. Los príncipes Mstislav Danilovich y Yuri Lvovich compitieron por Brest. El 1 de marzo de 1280 tuvo lugar cerca de Brest, en el río Krosna, una batalla entre los rutenos, dirigidos por el voivoda de Brest Tito, y las tropas polacas. Los polacos fueron derrotados, con ventaja numérica.
En la década de 1320, Brest fue capturada por el príncipe lituano Gediminas. En la década de 1340, Brest fue gobernada por el príncipe lituano Keystut. En 1366, en virtud del acuerdo del príncipe lituano Olgerd con los polacos, Brest con la parroquia pasó a manos de Keystut. En 1379 Brest fue incendiada por los caballeros teutones. En 1382 Brest fue sitiada por el príncipe polaco Janusz Mazowiecki. En 1390 la ciudad recibió el derecho de Magdeburgo. En 1397, los caballeros teutones volvieron a asolar la ciudad.
En 1596 se concluyó la Unión de Brest en la catedral eclesiástica de Brest. El 16-20 de octubre (6-10 según el calendario antiguo) se convocó en Brest un concilio eclesiástico de la metrópoli de Kyiv según las instrucciones del Papa Clemente VIII para la proclamación oficial de la unión con la Iglesia Romana. En este Concilio, celebrado en la Iglesia Catedral de San Nicolás el 18 (8) de octubre de 1596, la mayoría de los jerarcas de la metrópoli de Kyiv aceptaron la unión.
En 1614 se fundó un colegio jesuita en Brest. En 1633 recibió el permiso para el funcionamiento de la Hermandad Ortodoxa de Navidad en Brest.
En septiembre de 1648, tras la aparición de un pequeño destacamento cosaco en las cercanías de Brest, se produjo un levantamiento en Brest, a consecuencia del cual la nobleza fue derrocada y declaró su adhesión al Hetmanato. El levantamiento de Brest no fue sofocado hasta enero de 1649 por el ejército polaco dirigido por el Hetman lituano Janusz Radziwill, la ciudad fue capturada y gravemente devastada. En 1649 se produjo otro levantamiento en Brest, en el que murieron 2.000 habitantes. Tras la ocupación polaca de la ciudad, el coronel Duminsky, del ejército de Zaporizhzhya, organizó una red insurgente clandestina en Brest siguiendo instrucciones de Khmelnytsky, hasta que fue arrestado en el verano de 1651 y posteriormente ejecutado.
Con el fin de construir una fortaleza, las autoridades rusas destruyeron por completo la antigua ciudad de Brest, situada entre el Bug occidental y el rocío de las ramas de Mukhavets. Al este, en 1831, se fundó una nueva ciudad con el antiguo nombre.
En la segunda mitad del siglo XIX Brest se convirtió en un nudo ferroviario, su valor comercial aumentó y la población creció (hasta 20.000 personas en 1880). En 1873 y 1882 tuvieron lugar huelgas obreras en la ciudad. En 1905-1907, durante las manifestaciones revolucionarias en todo el Imperio Ruso, también hubo huelgas obreras en Brest.
A principios del siglo XX, el oficial de la fortaleza Onopriy Vasylenko (Ohrim Varnak) fundó una compañía teatral en la ciudad, organizó reuniones con lecturas de clásicos ucranianos, mítines de 1905 y celebraciones de los aniversarios de Taras Shevchenko. En 1902-1914, la compañía puso en escena obras de Ivan Kotlyarevsky, Ivan Karpenko-Kary, Hryhoriy Kvitka-Osnovyanenko y Mark Kropyvnytsky. En 1915-1918, primero en Bila Pidlaska y más tarde en Brest, se publicó el semanario ucraniano Ridne Slovo. En 1916 se fundó en Brest uno de los primeros centros de la Ilustración en Polissya.
En diciembre de 1917 comenzaron en Brest las conversaciones de paz entre las Potencias Centrales y la República Popular Ucraniana y la Rusia bolchevique. Según el Tratado de Paz de Brest, firmado el 9 de febrero de 1918 en el Palacio Blanco de la Fortaleza de Brest, Brest, Estocolmo y Podlasie pasaron a formar parte de la RPU. En marzo de 1918, se constituyó la provincia de Kholm como parte de la República Popular Ucraniana, y Brest se convirtió en su centro administrativo. En la ciudad se publicaban periódicos ucranianos: «Ridne slovo», «Mir», «Visnyk Kholmskoho gubernialskoho starostva». En 1918, una compañía local (Vasyl Dmytriyuk, Bigunivna, G. Drozd, Prokop) puso en escena en Brest la obra Natalka Poltavka, de Ivan Kotlyarevsky, y los fondos recaudados se destinaron al orfanato de Turkevych. El 1 de diciembre de 1918 se celebró en Brest el congreso fundacional de la Ilustración.
El 2 de febrero de 1919, las tropas polacas entraron en la región de Brest, capturando primero la Fortaleza de Brest y más tarde la propia Brest.
En 1920 se estableció en Brest la división ucraniana del general Bezruchko. En 1920, Brest fue capturada por las tropas bolcheviques, pero ese mismo año fueron expulsadas por el ejército polaco. El 21 de marzo de 1920 se estableció en Brest la 6ª Brigada de Reserva del Ejército de la UPR bajo el mando del general Ivan Fedenyak-Bilynsky. A partir de 1920, en la ciudad funcionó un campo de internamiento de regimientos de la UGA, y en 1930-1931 fue una prisión para diputados de la oposición.