大正から昭和の初めにかけて首相、蔵相などを歴任した政治家・高橋是清の邸宅があったところ。元は青山備前守の屋敷跡で、 1878（明治11）年に赤坂・青山の地域が赤坂区として誕生した際に最初の赤坂区役所が置かれた場所です。

1936（昭和11）年2月26日、いわゆる「２・２６事件」で殺害され83歳の生涯を閉じた翁の私邸と敷地は、当時の東京市に寄付され1941（昭和16）年に公園として開園。その後1975（昭和50）年に港区に移管されました。

園内は池を中心に石像や石灯籠が配置され、カエデやクスノキなどたくさんの樹木が茂り、青山通りの癒し空間として親しまれています。いちばん奥の左には、「ダルマ宰相」として慕われた翁の銅像が建っています。

戦時中の空襲により建物は焼失しましたが、母屋はそれ以前に移築されていたため幸いにも難を逃れ、現在は小金井市の都立小金井公園にある「江戸東京たてもの園」に移されています。