張學良生命中第一個女人，是他的「表嫂」。表嫂有個綽號叫「連長」，因為她以前職業問題，閱男無數，足有一個連之多，故人送外號「連長」。
後來，她被張學良的表哥看上，納為了姨太太。當看到一表人才的張學良以後，就犯了「職業病」，成為張學良最早的啟蒙老師。
在《張學良口述歷史》中，他回憶道：有一天，家裡沒人，她就調戲我，所以我成了壞蛋，就是從她身上學來的，我也因此有些看不起女人了。
直到該婚娶的年紀，在張作霖的安排下，張學良才娶了賢良淑德的于鳳至。他貪玩成性，一生犯錯不計其數，娶了于鳳至，是他最正確的一個決定。在後來的坎坷日子裡，于鳳至一直扮演著舉足輕重的角色。
1916年，新婚之夜，于鳳至對張學良說：「漢卿，你今後在外頭有多少女人我不管，但有一條你得依大姐，就是不能帶她們回大帥府。」
張學良滿口答應，但很快，他就背離了這個誓言。
他在剿匪過程中，結識了人生中的第三個女人——谷瑞玉。谷瑞玉是中俄混血兒，後來因姿色被土匪老占東搶到，成為了老占東的小妾。張學良剿匪時，將老占東消滅，順手解救了谷瑞玉，兩人就此相識。從此，他們就好在了一起。
1924年，第二次直奉戰爭時，谷瑞玉不顧前線戰火危險，堅持到一線探望張學良，並且與他戰鬥，因而被人們稱為「陪軍夫人」。憑此，谷瑞玉也在張學良的部下
種中，贏得了人氣。
很快，軍隊的人都知道張學良身邊有一位美女。因為身高170厘米，身材高大，體態豐滿，有看起來像一個外國女人，他們背後給她起了個外號，叫「大洋馬」。
戰後，張學良升任陸軍中將。通過楊宇霆等人，他將與谷瑞玉的事告訴了張作霖，張作霖表示同意，1924年10月，他們在天津結婚。
婚後，谷瑞玉隨張學良回到瀋陽。當時，張學良已經有大夫人于鳳至，她對谷瑞玉很不待見，首先她當過土匪的小妾；其次，丈夫自從結識谷瑞玉後，便經常在外面鬼混，因而她認為是谷瑞玉帶壞了張學良。
張學良本身也心中有愧，便不敢與于鳳至爭執。他只能在瀋陽為谷瑞玉買了一幢房子，作為兩人的愛巢。因為于鳳至不同意，谷瑞玉也從未踏進大帥府一步。
但甜蜜永遠是短暫的。婚後，谷瑞玉的性格發生了變化。張學良當時駐紮在保定，和她過著
異地生活。因為性格不和，谷瑞玉和張學良多次爭吵。如今他不在身邊，谷瑞玉的日子就過得很瀟洒，天天跳舞、
取酒吧。她還經常借張學良的名頭，
叫來梅蘭芳等人給自己唱戲，這讓張學良十分生氣。
而真正讓兩人徹底情斷的原因，其實是因為另外兩件事：
第一
件是因為郭松齡。當時，谷瑞玉和郭松齡關係很不錯，後來郭松齡反
奉被殺，有人在他家中搜到了谷瑞玉的信，這讓張作霖十分生氣，要求張學良趕快休了谷瑞玉。在張學良苦苦哀求下，才沒跟谷瑞玉離婚，但
兩人感情從此開始冷淡。
第二
件是因為楊宇霆。1928年冬天，奉系舊軍閥楊宇霆、常陰槐等心生異念，想陰謀取代張學良。楊宇霆千方百計地收買谷瑞玉作內線，後來，他假借為父祝壽之名，請谷瑞玉與少帥一道去楊宅赴宴。
宴會期間，張學良險遭一群日本浪人的暗算，幸虧于鳳至識破了楊宇霆的圖謀，張學良才免遭此禍。回到家後，張學良轉頭對谷瑞玉大聲訓斥，谷瑞玉也不甘示弱，兩個人憤然反目。
1931年，兩人結束了他們長達7年的婚姻。張學良送了谷瑞玉一幢房子，再加上10萬大洋。同時提出三個條件：一是離婚後不可用自己名義；二是不能為娼；三是任憑改嫁。
雖然早就做好心理準備，但真的離開時，谷瑞玉還是流下了傷心的眼淚。真的愛過，哪能這樣輕易捨棄。其實，谷瑞玉離開張學良，本不是出於自願，在她心底，仍然深深眷戀著雄姿英發的少帥。
離婚後，谷瑞玉一直住在天津。她隱姓埋名，改名孟曉玉，進入某大學物理系任教，後來成了副教授。她教過的學生數以千計，可誰都不知道她原先是張學良的夫人。
谷瑞玉始終對張學良充滿感情。1937年以前，她經常從報紙上關注張學良的消息。離開張學良的半個多世紀時間裡，她終身未嫁。一直到逝世，在她家裡的牆壁上、書架上，始終懸掛、擺放著張學良年輕時的照片。
實際上，在谷瑞玉心底，張學良是他永遠的丈夫。1958年，58歲的谷瑞玉以「孟曉玉」的名字辦理了退休手續，在家安度晚年。1983年，谷瑞玉病逝於天津，一生沒有子女。
在張學良的三位夫人中，谷瑞玉是第一個告別人世的，也是命運最為不幸的。張學良晚年回憶道：自己一生有11個情人。在11個情人裡面，唯一與他反目的只有谷瑞玉一個。