1562年，潘雲端出國為官，無暇建園。潘雲端在《豫園記》中說:
二十年過去了，壹次又壹次，毫無建樹。
1577年，潘雲端被解除四川布政司職務後回到家鄉，隨後又專心經營、擴建園林，並聘請著名園藝家張南洋設計、疊山。從此，花園越大，水池越寬。
1620左右竣工，總面積46000多平方米。當時正值江南文人造園的鼎盛時期，上海附近的私家園林不下數千座。豫園，其景色、布局、規模堪比蘇州拙政園、太倉茅山園，被公認為“東南名園之冠”。
但豫園屢遭破壞，潘雲端所建建築已全部被毀。豫園東部的主要建築有玉玲瓏、玉華堂、虞姬水畫廊、積玉峰、匯景樓和九十九軒。
玉玲瓏是江南三大名石之壹。高約3米，雕工精巧，多孔，有皺、漏、薄之美，為壹級石。古人曾說:“石底放壹爐香，煙從孔中出；用壹壺水裝滿石頭屋頂，洞就會在孔泉流動。“玉玲瓏背後有照壁。照壁南墻上有幾個漢字“圖集大”，意為“天下快”。
玉玲瓏對面有壹間書房，因玉玲瓏石碑上的“玉華”二字而得名玉華堂。堂上鐫刻的“玉華”二字，是明代文徵明的書法集。大殿前有兩棵玉蘭樹，東側是玉峰和玉水廊。
雨花堂原為潘雲端書房，清代重修，改名香雪堂。後又因戰亂再次被毀，重建後仍取名雨花堂。根據秀才書房的布局，廳內陳列著明代的紫檀木畫等珍貴家具。
虞姬水畫廊靠著豫園的東墻，面對曲池。虞姬峰矗立在畫廊之間，雕刻精美。赤溪、雨花廳前後，流水潺潺，山石陡峭，花木稀疏，植有玉蘭、白皮松、竹子，清幽雅致。
匯景樓位於豫園中心，故名“匯景樓”。玖拾軒位於惠晶大廈西北面，前面有平臺。可以在欄桿邊看水池裏的荷花。
豫園西有假山亭臺、元代鐵獅子、翠秀堂、方毅、萬華樓、魚樂榭、畫廊、兩儀軒、點春堂、何秀堂等。
大假山是豫園鎮園之作，是明代著名疊山家張南洋唯壹傳世之作。高約12米，堆著上千噸的武康黃石。假山峰巒起伏，道路蜿蜒，溝壑幽深，清泉流淌。山上花木繁茂，壹潭清水環山。遊客登船時，對置身山中頗感興趣。後來晚清名人王韜這樣描述:
奇峰疊嶂，山巒交錯，為西園贏得了景色。繡以玉瓦，平如石；左右轉，蜿蜒繞，或石壁陡空，或賭石池。洞口偶有含脊，偶有坡陡，頂上千裏。
順著小路轉到另壹處，楊柳垂柳，池十頃，橫方向略約，亭臺斜露，景色幽靜，仿佛又是壹日。從這個意義上說，城市有山林之趣，塵障空。
豫園陳舊而時尚，大部分建築已被破壞，而大假山仍保持著舊貌。大假山上有兩個亭子，壹個在山腳下，名為“秀秀閣”，意思是可以欣賞園中美景。山頂名為“望江閣”，寓意此閣“黃埔吳淞第壹步”。帆和雲遠在幾十裏之外。"
陽山堂東走廊入口處，有壹對姿態生動、鑄造精美的鐵獅子。每個座位都有自己的知識:
10月28日，張德福安陽縣銅山鎮的手工藝人張釗和大源縣29歲的耿胤。
觀獅的人繞著墻走，進入遊廊，遊廊是進入大假山的通道，橫跨水池。樓道裏有壹方亭子，有“漸入佳境”的牌匾。牌匾下有壹塊太湖石，形似美人的柔腰，取名“美人腰”池邊山景近在咫尺，提醒遊人走動。
方毅位於東墻外的翠秀堂，俗稱舟堂。明代以後，江南園林多在水邊造石船賞月，而直接在陸地上造船的很少。
萬華樓是華神閣的所在地，後被稱為“萬華之淵”。後來重修的時候加了葛思堂，只留了壹樓。當時主要用於祭祀活動和同行討論，因人神僅壹箭之遙而得名“神池殿”。後來又恢復了“萬花樓”的名字。
漁樂斜跨溪，有山有水，可以靠欄桿看魚在水裏遊。小溪上建了壹堆防濺墻，墻上有漏水的窗戶，墻下有壹個半洞的門，水從裏面流出來。《魚樂》蘊含著主人對莊子的敬仰和他的隱居。
在這裏，妳還可以欣賞到生動的想象中的風景。謝遷前的小溪，壹堵用漏窗和半圓洞裝飾的粉墻，不出水，跨過小溪，溪水從拱形的墻下淌下，給人壹種“溪水不知流向何處”的錯覺。
魚樂斜的東北面是壹條蜿蜒而獨特的走廊，由墻壁隔開。中間建了壹個方亭，匾上寫著“不遠知”。這個意思來自南朝筆記小說《世說新語》:
妳不必遠離妳的心。如果妳周圍都是樹，妳想想就會覺得鳥獸鳥魚都來找妳親戚了。
意思是不用走很遠就能明白萬物的本質。
走廊的東部被壹堵墻分成兩部分。墻上有壹個窗戶洞。從窗洞可以看到左邊的陽臺和右邊的峰石，就像壹幅素描圖。回廊東面有小軒，稱為“兩宜亭”。兩儀軒位於回廊南側，依山面水，有古人“觀山水宜兼而有之”的味道。
須賀音樂廳位於歌詠臺的南面，面朝山，面朝水。它四面開闊，冬暖夏涼，因此得名“須賀”。後面水池邊有假山，山下有洞，流水。山上有壹個方形的小軒，名叫“雪圃”。八角亭與學園之間隔著壹個水池，亭內有壹口古井。井場是明朝的東西，所以叫“古井亭”。
和秀堂東邊的假山上，有壹片雲巖，四周水石環繞，洞壑幽深。寶雲巖上有壹座小樓，有兩層，上層叫“快樓”，下層叫“燕雙閣”。登上快樓可以俯瞰西邊的大假山和豫園全景。燕雙閣繪有飛檐的建築，玲瓏錯落。
點春堂北面有壹座寶樓，上下五間。東面有靜逸軒和李婷亭。據地方誌《上海縣誌續》記載，點春堂初建時，附近有壹些建築，如釣玉雞、水神亭、壹笑軒、莊樂亭等，早已被毀。