她是名門之後，卻被繼母賣入妓院成為花魁，轉頭嫁給四大公子之一

消息傳到臧卓耳朵里，他火了，直接把潘素軟禁在一品香酒店，不讓她見人。臧卓仗著軍閥身份，派衛兵把守，典型的霸道作風。張伯駒不幹了，找好友孫曜東幫忙，孫曜東租了靜安別墅安置，買通衛兵把潘素救出來。兩人逃出上海，返回北方，1937年正式結婚。那時候張伯駒已有三房妻妾：元配李氏、二夫人鄧氏都沒生子，三夫人王韻香。張伯駒對潘素不一樣，沒讓她當擺設，而是當正室待，慢慢遣散了其他妻妾。1950年新婚姻法出來後，他給前妻們錢財，正式離婚，就剩潘素一個。

婚後張伯駒對潘素挺上心，知道她有繪畫底子，就請名師教她。1936年起，朱德甫教她畫花鳥，夏仁虎教古文，後來還找汪孟舒、陶心如、祁井西、張孟嘉這些大家指點。潘素21歲重拾畫筆，臨摹張伯駒收藏的名跡，專攻青綠山水畫，工筆重彩那種，細膩嚴謹，金碧輝煌。張伯駒帶她遊山玩水，登峨眉山、去山西大漠、游桂林灕江，這些經歷讓她畫風更有氣勢。張大千看過她的畫，說「神韻高古，直逼唐人」，這是真認可。

潘素代表作不少，《溪山秋色圖》《松峰聳翠圖》《秋山煙靄圖》《灕江春晴》《臨吳歷雪山圖》《松崖初雪圖》《雪山寒林圖》《萬里春光圖》《湖山初雪圖》，這些畫作為國家禮品送過外國元首，比如1958年《臨吳歷雪山圖》給英國首相，《游春圖》給日本天皇。1956年中國美術家協會組織寫生，她去灕江畫的《春晴圖》在美展上，周恩來駐足，說「頗有新氣象」，這對她是莫大肯定。