El Fuerte es demolido en sucesivas etapas, hasta que el Presidente Bartolomé Mitre remoza el sector perteneciente a la Casa de Gobernadores y Virreyes, para instalarse con sus ministros. Su sucesor Domingo Faustino Sarmiento le agrega jardines y rejas, pintándolo de rosado lo que caracteriza al lugar como Casa Rosada. Este encarga el 1873 al arquitecto sueco Carlos Kihlberg proyectar un edificio de Correos y Telégrafos, en Balcarce e Hipólito Yrigoyen. Por iniciativa del Presidente Julio Argentino Roca se levanta en 1882 para sede del Gobierno Nacional un edificio proyectado por Enrique Aberg que llega hasta Balcarce y Rivadavia en simetría con el de