张伯驹在娶潘之前已有三房妻妾，有媒妁之言的，也有自己娶回家的，然而张伯驹在认识潘素后，再无风流韵事发生，他的心只系潘素一个人身上。张伯驹爱文物胜过爱女人，为了那些珍贵文物，他不惜倾家荡产。
家人反对，称他是败家子，只有潘素理解他、支持他，给了他无限的安慰和力量。买陆机《平复帖》，潘素变卖首饰替他凑钱 ；抗日时期遭汪精卫手下绑架，潘素到处借贷，借得四十万元赎他出来。这种精神的默契、志趣的相投是他们相亲相爱一生的基础。
张伯驹一生醉心于古代文物，致力于收藏书画名迹。曾收藏中国传世最古书法作品、西晋陆机的《平复帖》，传世最古绘画作品、隋朝展子虔的《游春图》；此外，唐代李白的《上阳台贴》、杜牧的《张好好诗卷》，宋代黄庭坚的《诸上座帖》、赵佶的《雪江归棹图卷》、范仲淹的《道服赞》，元代钱选的《山居图卷》等在艺术史上占有独特地位的重要文物也是先生的藏品。
经他手蓄藏的中国历代顶级书画名迹见于其著作《丛碧书画录》者便有 118 件之多，被称为“天下第一藏”。
1956 年，他们将其 30 年所收藏的珍品——展子虔的《游春图》、陆机的《平复帖》、杜牧的《张好好诗》、范仲淹的《道服赞》、黄庭坚《草书》等 8 幅珍贵无比的书法作品，无偿捐给国家。
此外，张伯驹同妻子潘素捐献给国家的还有宋四家之蔡襄的《自书诗册》、宋四家之黄庭坚《诸上座帖》、宋徽宗赵佶的《雪江归棹图卷》、宋赵伯啸《仙峤白云图》、元代赵孟頫《千字文》、明唐寅《孟蜀官使图》、唐人写经《大般若波罗密多经》等。
张伯驹说 ：“予所收蓄，不必终予身，为予有，但使永存吾土，世传有绪，则是予所愿也！今还珠于民，乃终吾夙愿！”