Dzieje pałacu Brühla sięgają pierwszej połowy XVII wieku, kiedy to nieopodal dzisiejszego Ogrodu Saskiego i Grobu Nieznanego Żołnierza rozpoczęła się budowa pałacu wojewody sandomierskiego Jerzego Ossolińskiego. W kolejnych latach pałac zmieniał właścicieli, popadał w ruinę i bywał następnie restaurowany, a w 1750 r. został zakupiony przez ministra saskiego Henryka Brühla. Pomimo, iż gmach pozostawał jego własnością przez stosunkowo krótki okres, to właśnie nazwisko „Brühl” przylgnęło do pałacu, stając się częścią jego nazwy.

Następne lata przyniosły kolejne zmiany w funkcjonowaniu pałacu. Był on stale rozbudowywany i remontowany, swoje siedziby miały w nim m.in. ambasada Rosji i Francji, a w 1882 r. (po kolejnej przebudowie) został przejęty przez Centralny Urząd Telegraficzny.

Nowy rozdział w dziejach gmachu otworzyły wydarzenia 1918 r. i odzyskanie niepodległości przez Polskę. Jedno z pięter korpusu głównego pałacu i część oficyn zostały przeznaczone na potrzeby Ministerstwa Spraw Zagranicznych. MSZ zajmowało także część pałacu Kronenberga przy ul. Królewskiej oraz biura usytuowane przy ul. Miodowej i Wierzbowej. Niski standard zajmowanych pomieszczeń oraz ich rozproszenie sprawiły, iż Ministerstwo podjęło inicjatywę pozyskania odpowiedniej siedziby. Uznanie zyskał projekt przygotowany przez architekta Bohdan Pniewskiego, zakładający znaczącą przebudowę i modernizację pałacu Brühla. Szeroko zakrojone prace rozpoczęły się w 1932 r., a sam pałac po przebudowie stal się jednym z najnowocześniejszych urzędów II RP, który pełnił również funkcje reprezentacyjne w czasie dyplomatycznych spotkań. Gmach wzbudzał przy tym powszechne zainteresowanie, stając się jedną z wizytówek stolicy.

We wrześniu 1939 r. pałac ucierpiał w wyniku bombardowań, a po kapitulacji Warszawy stal się siedzibą niemieckich władz okupacyjnych. W 1944 r. w czasie Powstania Warszawskiego podjęto nieskuteczne próby odbicia pałacu z rąk niemieckich. W grudniu 1944 r. (po upadku powstania) gmach został wysadzony w powietrze przez wojska niemieckie. Plany jego odbudowy nie zostały dotychczas zrealizowane.