La historia del Palacio empieza desde que la primera ciudad fue destruida por el pirata Henry Morgán en 1671 y los primeros pobladores se trasladaron al sitio conocido como el Sitio Ancón, hoy el Casco Antiguo.
Luego del traslado, la distribución y ubicación de los predios fue inmediata. A los pocos días, las prioridades de la actividad comercial y la necesidad de organización social demandaron el pronto establecimiento de una "puerta de mar" y de un local, para acomodar tanto la Aduana como la administración de la ciudad. y es, precisamente, en el mismo lugar donde en aquella época se inició la construcción del edificio de la Aduana donde hoy día se levanta, con el orgullo y la dignidad que le confiere su función, el Palacio de las Garzas, sede oficial del Gobierno de Panamá.
Es conocido por las garzas porque en la entrada hay un par de vistosas garzas que inspiraron al poeta Ricardo Miró.