A instituição foi fundada em 1947 e sua atual sede, localizada na Avenida Paulista, foi fundada em 1968.

Ela foi idealizada por Assis Chateaubriand e Pietro Maria Bardi e é considerada um dos grandes símbolos da arquitetura brutalista no Brasil.

O prédio foi erguido no lugar no antigo Belvedere Trianon, projetado por Ramos de Azevedo, sendo seu terreno uma doação do engenheiro Joaquim Eugênio de Lima, sob a condição de que a vista para o centro da cidade fosse preservada.

Para que a condição do engenheiro fosse possível, foi necessário a criação de uma edificação subterrânea e outra suspensa, dando assim origem a um vão de 74 metros de extensão e 8 metros de altura, tendo a parte de cima sendo suspensa por quatro enormes pilares laterais.

Em sua construção, o principal material de estruturação foi o concreto protendido, que foi unido a outros materiais como vidro temperado e o piso de pedra-goiás.

Levaram cerca de 12 anos entre o projeto e a execução do projeto de Lina Bo Bardi. A edificação possui por volta de 10.000 m², divididos entre espaço expositivo, pinacoteca, biblioteca, fototeca, filmoteca, videoteca, dois auditórios, restaurante, loja, oficinas, ateliê, espaços administrativos e reserva técnica.

O seu acervo foi tombado pelo IPHAN em 1969 e em 1982, o edifício foi tombado pelo CONDEPHAAT.

Em 1990, as colunas foram pintadas de vermelho e entre os anos de 1996 e 2001, o edifício passou por uma reforma, que para muitos foi uma espécie de descaracterização do projeto original de Lina Bo Bardi, na qual houveram a reprotensão das vigas de sustentação, uma recuperação estrutural, impermeabilização da cobertura, a troca do piso original, a instalação de um segundo elevador, a construção de um terceiro subsolo e a troca dos espelhos d’água por jardins.

Em 2003, o edifício foi tombado pelo IPHAN.