A casa foi mandada construir pelo 2º conde de Vizela, Carlos Alberto Cabral, aristocrata da indústria têxtil que, em 1923, herdou a propriedade de seu pai. O projecto foi do arquitecto francês Charles Siclis, tendo a sua execução ficado a cargo do arquiteto português Marques da Silva. O projecto dos jardins, de autoria de Jacques Gréber, data de 1932. Os projetos da casa e dos jardins progrediram ao sabor de hesitações e alterações sucessivas introduzidas por Marques da Silva, até que as obras de ambos ficaram concluídas em 1940.
Na década de 80 tornou-se o centro de um projeto que culminou na instalação de um dos mais importantes pólos culturais e artísticos da penísula Ibérica, envolvendo a casa, os jardins, a quinta, e um Museu de Arte Contemporânea. Atualmente é pertença da Fundação de Serralves, que detém o Museu de Arte Contemporânea de Serralves.
