张学良生命中第一个女人，是他的“表嫂”。表嫂有个绰号叫“连长”，因为她以前职业问题，阅男无数，足有一个连之多，故人送外号“连长”。
后来，她被张学良的表哥看上，纳为了姨太太。当看到一表人才的张学良以后，就犯了“职业病”，成为张学良最早的启蒙老师。
在《张学良口述历史》中，他回忆道：有一天，家里没人，她就调戏我，所以我成了坏蛋，就是从她身上学来的，我也因此有些看不起女人了。
直到该婚娶的年纪，在张作霖的安排下，张学良才娶了贤良淑德的于凤至。他贪玩成性，一生犯错不计其数，娶了于凤至，是他最正确的一个决定。在后来的坎坷日子里，于凤至一直扮演着举足轻重的角色。
1916年，新婚之夜，于凤至对张学良说：“汉卿，你今后在外头有多少女人我不管，但有一条你得依大姐，就是不能带她们回大帅府。”
张学良满口答应，但很快，他就背离了这个誓言。
他在剿匪过程中，结识了人生中的第三个女人——谷瑞玉。谷瑞玉是中俄混血儿，后来因姿色被土匪老占东抢到，成为了老占东的小妾。张学良剿匪时，将老占东消灭，顺手解救了谷瑞玉，两人就此相识。从此，他们就好在了一起。
1924年，第二次直奉战争时，谷瑞玉不顾前线战火危险，坚持到一线探望张学良，并且与他战斗，因而被人们称为“陪军夫人”。凭此，谷瑞玉也在张学良的部下
种中，赢得了人气。
很快，军队的人都知道张学良身边有一位美女。因为身高170厘米，身材高大，体态丰满，有看起来像一个外国女人，他们背后给她起了个外号，叫“大洋马”。
战后，张学良升任陆军中将。通过杨宇霆等人，他将与谷瑞玉的事告诉了张作霖，张作霖表示同意，1924年10月，他们在天津结婚。
婚后，谷瑞玉随张学良回到沈阳。当时，张学良已经有大夫人于凤至，她对谷瑞玉很不待见，首先她当过土匪的小妾；其次，丈夫自从结识谷瑞玉后，便经常在外面鬼混，因而她认为是谷瑞玉带坏了张学良。
张学良本身也心中有愧，便不敢与于凤至争执。他只能在沈阳为谷瑞玉买了一幢房子，作为两人的爱巢。因为于凤至不同意，谷瑞玉也从未踏进大帅府一步。
但甜蜜永远是短暂的。婚后，谷瑞玉的性格发生了变化。张学良当时驻扎在保定，和她过着
异地生活。因为性格不和，谷瑞玉和张学良多次争吵。如今他不在身边，谷瑞玉的日子就过得很潇洒，天天跳舞、
取酒吧。她还经常借张学良的名头，
叫来梅兰芳等人给自己唱戏，这让张学良十分生气。
而真正让两人彻底情断的原因，其实是因为另外两件事：
第一
件是因为郭松龄。当时，谷瑞玉和郭松龄关系很不错，后来郭松龄反
奉被杀，有人在他家中搜到了谷瑞玉的信，这让张作霖十分生气，要求张学良赶快休了谷瑞玉。在张学良苦苦哀求下，才没跟谷瑞玉离婚，但
两人感情从此开始冷淡。
第二
件是因为杨宇霆。1928年冬天，奉系旧军阀杨宇霆、常阴槐等心生异念，想阴谋取代张学良。杨宇霆千方百计地收买谷瑞玉作内线，后来，他假借为父祝寿之名，请谷瑞玉与少帅一道去杨宅赴宴。
宴会期间，张学良险遭一群日本浪人的暗算，幸亏于凤至识破了杨宇霆的图谋，张学良才免遭此祸。回到家后，张学良转头对谷瑞玉大声训斥，谷瑞玉也不甘示弱，两个人愤然反目。
1931年，两人结束了他们长达7年的婚姻。张学良送了谷瑞玉一幢房子，再加上10万大洋。同时提出三个条件：一是离婚后不可用自己名义；二是不能为娼；三是任凭改嫁。
虽然早就做好心理准备，但真的离开时，谷瑞玉还是流下了伤心的眼泪。真的爱过，哪能这样轻易舍弃。其实，谷瑞玉离开张学良，本不是出于自愿，在她心底，仍然深深眷恋着雄姿英发的少帅。
离婚后，谷瑞玉一直住在天津。她隐姓埋名，改名孟晓玉，进入某大学物理系任教，后来成了副教授。她教过的学生数以千计，可谁都不知道她原先是张学良的夫人。
谷瑞玉始终对张学良充满感情。1937年以前，她经常从报纸上关注张学良的消息。离开张学良的半个多世纪时间里，她终身未嫁。一直到逝世，在她家里的墙壁上、书架上，始终悬挂、摆放着张学良年轻时的照片。
实际上，在谷瑞玉心底，张学良是他永远的丈夫。1958年，58岁的谷瑞玉以“孟晓玉”的名字办理了退休手续，在家安度晚年。1983年，谷瑞玉病逝于天津，一生没有子女。
在张学良的三位夫人中，谷瑞玉是第一个告别人世的，也是命运最为不幸的。张学良晚年回忆道：自己一生有11个情人。在11个情人里面，唯一与他反目的只有谷瑞玉一个。