1924年，卫乐园由大陆银行投资建造，普益地产公司开发，庄俊建筑师事务所设计，占地12000平方米，建筑面积7800平方米。弄内共有砖木混合结构三层花园洋房31幢，在二十世纪二三十年代陆续建成，整齐美观、煤卫齐备，底层设有汽车间，是当时上海西区高档住宅区之一。弄内环境幽静，每户都有近百平方米的花园。临泰安路的住宅，每幢主入口的装饰形式都各个不同，主要是西班牙风格，富有特色，便于记认。有的门头带有棚屋，盖有西班牙圆筒瓦；有的做成巴洛克风格，有流畅弯曲的弧形线条。而与泰安路一线相对，在弄北侧的住宅，则有英国维多利亚、西班牙巴洛克、法国文艺复兴等不同风格。弄口的西式大门，半圆拱券，墙顶铺红色半圆筒瓦，非常醒目，并和弄内建筑风格相协调。

卫乐园建成后，多数分幢租给金融界高级职员。这里的居民中还有很多知识分子和文艺、教育界人士，如著名电影艺术家、导演、剧作家黄佐临就长期寓居卫乐园1号，他在近60年的艺术生涯中导演了话剧、电影百余部，并把女儿黄蜀芹也培养成了一位导演。当年黄蜀芹为了筹拍电视剧《围城》，带着柯灵的介绍信去钱钟书家拜访，钱、杨两位先生一听黄蜀芹是黄佐临的女儿，立刻就答应了。因为孤岛时期，黄佐临曾经接济过他们。《围城》也成为中国电视剧史上还原度最高、最优秀的作品之一，电视剧和原著一起成了传世经典。此外，贺子珍1949年从苏联回到上海后，由周恩来总理安排，曾与侄女（毛泽覃的女儿）在卫乐园10号住过一段时间，之后搬去湖南路上的湖南别墅。小小的卫乐园不但有着建筑史上的意义，还在近现代的政治、经济、文艺史上显露过身影，这样，它被定为上海市优秀历史保护建筑也是顺理成章的事。