Od początku lat 20-tych Poselstwo RP (taką nosiło wówczas nazwę) mieściło się w barokowej kamieniczce z końca XVIII wieku na Wzgórzu Zamkowym przy ulicy Országház 13. Była to wówczas najbardziej eksponowana pod tym względem część miasta. Tu znajdowały się gmachy najwyższych urzędów państwa, a także wiele placówek dyplomatycznych. Biuro attachatu prasowego mieściło się nieopodal poselstwa przy ulicy Úri 8. Jedynie otwarty nieco później konsulat znajdował się po drugiej stronie Dunaju w Peszcie przy alei Arena 86/b. (dziś: Dózsa György út). Ostatnim urzędującym na Zamku posłem był Leon Orłowski. W wyniku narastających nacisków niemieckich na stronę węgierską zmuszony był zakończyć swą misję w końcu 1940 roku. Gdy podczas ostatniego, pożegnalnego spotkania z premierem Węgier Pálem Telekim wyraził obawę o dalszy los tysięcy polskich uchodźców, węgierski premier uspokoił dyplomatę mówiąc wówczas znamienne słowa: „od tej chwili ambasadorem ich interesów będę ja sam!”.

Tuż po wybuchu II wojny zorganizowano w Budapeszcie kilka filii dla obsługi olbrzymiej ilość przybywających tu rodaków. Były to instytucje wspierające pracę konsulatu, jak na przykład biuro znajdujące się przy ulicy Tükör, w którym działało Przedstawicielstwo Wojska Polskiego Internowanego na Węgrzech, czy biuro przy ulicy Garibaldi 4, gdzie mieścił się Komitet Obywatelski do spraw opieki nad uchodźcami. Przez prawie trzy lata po wojnie Poselstwo RP mieściło się przy ulicy Benczúr 7, konsulat zaś funkcjonował w wynajętym mieszkaniu na parterze budynku przy ulicy Bajza 15.

Gdy w końcu 1947 roku nadarzyła się możliwość wykupu tego mieszkania oraz pozostałych trzech, ówczesny poseł nadzwyczajny, minister pełnomocny dr Alfred Fiederkiewicz nie zwlekał ani chwili wysyłając do Warszawy notę z taką oto treścią: „Budynek przy ulicy Vilma Királyné 16. ma 26 pokoi i 2 garaże. (...) Należy bezzwłocznie przystąpić do kupna tego budynku. Zaznaczam, że wszystkie poselstwa w Budapeszcie posiadają po jednym lub kilka okazałych gmachów: Poselstwo Czeskie – 2 budynki, Jugosławii – 2, nawet Bułgaria posiada piękny duży gmach. Jedynie my dusimy się w starej budzie w podwórzu, która nie tylko nie nadaje się na poselstwo, ale bez kompletnego remontu, nie nadaje się nawet na prywatne mieszkanie”. I tak oto 23 kwietnia 1948 roku za sumę 1,2 mln forintów (wówczas ok.100 tys. USD) państwo polskie stało się właścicielem obecnej siedziby Ambasady. Gdy wreszcie władze miasta rozwiązały sprawę mieszkań zastępczych dla trzech rodzin przystąpiono do adaptacji budynku dla potrzeb placówki.

I niech nikogo nie mylą jednak różne powtarzające się nazwy w adresie. „Vilma Királyné”, „Gorki”, czy wreszcie „Városligeti” to ta sama aleja. Faktem jest, że front budynku i wejście główne było niegdyś od strony alei Városliget. Obecnie, po przebudowie przeprowadzonej na początku lat 90., główna fasada oraz wejście znajduje się od ulicy Bajza, lecz pierwotny adres pocztowy pozostał niezmieniony. Blisko stuletni gmach wygląda dziś okazale. Dobudowano piętro, podwyższono dach, zmodernizowano wnętrze instalując nieodzowną windę, odrestaurowano secesyjną sztukaterię elewacji.