唐玄宗对杨贵妃的专宠，逐渐养成了她恃宠任性、悍妒异常的性格，以至于使玄宗忍无可忍，两次将杨贵妃驱逐出宫。具体情况如下:
第一次风波发生在天宝五载(746)七月，史载:“贵妃以微谴送归。”(《旧唐书·杨贵妃传》)另据(新唐书》、《资治通鉴》记载，杨贵妃是因“妒悍”而“不逊”，即出言顶撞了玄宗，致使玄宗一时难以忍受，遂将她送归堂兄杨铦府第。杨铦事先没有得到一点风声，贵妃的突然被遣送回来引起了全家的惊恐不安，并在所有的杨氏诸家中都引起了极大的震动。
杨贵妃被送出宫后，玄宗整天郁郁寡欢，“比日中，犹未食，左右动不称旨，横被棰挞”(《资治通鉴》卷215)。可见晚年的唐玄宗对杨贵妃依恋到何种程度，他们之间几乎形影不离，所谓“行同辇，止同室，宴专席，寝专房”(陈鸿《长恨歌传》)。玄宗因一时气愤将她逐出宫后，立即就感到寂寞难耐，但又不好出尔反尔马上把她接回来，于是只好把气全撒在了左右之人的身上。
只有跟随玄宗多年的宦官高力士深知皇帝的心思，于是建议将贵妃的供帐、器玩、等悉数装车，送到了杨铦家中，表示皇帝仍然继续关心着贵妃的起居生活，使紧张的气氛缓和下来。玄宗马上命令照办。当天下午这些东西就被送到了杨铦家中，杨氏家族中人见此情况，无不欢欣鼓舞，紧张的心情这才松弛下来了。接着高力士又建议把贵妃迎回宫中，玄宗早就等不及了，一听此言，马上同意，于当天夜里打开禁门，命人将贵妃迎回宫中。一场风波就这样平息了。
有一种说法，杨贵妃的悍妒是因为梅妃的受宠。有一本书叫《梅妃传》，无名氏所撰，说梅妃姓江，名采苹，由于她多才且貌美，也深受玄宗宠爱。其实历史上并无梅妃其人，这本书也是后人的附会之作，不足为信。
杨贵妃的第二次被遣送出宫是在天宝九载(750)二月，据《开天传信记》一书记载:“太真妃常因妒媚，有语侵上，上怒甚，召高力士以辎軿还其家。妃悔恨号泣，抽刀剪发授力士日:“珠玉珍异，皆上所赐，不足充献，唯发父母所生，可达妾意，望持此伸妾万一慕恋之诚。”上得发，挥涕悯然，命力士召归。”
另据《资治通鉴》卷216记载，杨贵妃顶撞了玄宗后，玄宗遂命人将其送归家中，至于是谁送她的却没有记载姓名。新旧《唐书》也是如此。后经户部郎中吉温劝告后，玄宗又后悔了，遂派中使赴其家探视，贵妃剪发请中使带回，玄宗遂命高力士将其接回，“宠待益深”。 吉温的出面劝谏，是受杨钊的委托。当杨贵妃第二次被送回家中时，杨氏全族惊恐不安，他们的荣华富贵全仗杨贵妃一人，如果由此失宠不复召回，那么杨氏家族从此就坠入万丈深渊了。
在这种情况下，杨钊只好与吉温商议对策，这才有了上面的一幕。杨钊因为在这次风波中调解有功，加之具有一定的办事能力，因而受到玄宗的赏识，遂赐名国忠。
杨贵妃因为妒悍而两次被送出宫中，到底是谁引起了她如此之大的妒火呢?史书中没有明确记载，但是从种种迹象来看，这个人很可能就是虢国夫人。虢国夫人美貌绝伦，而且长期孀居，早年在西蜀时就与其堂兄杨钊勾搭在一起，到了长安后，在诸姨中她最受皇帝的恩宠，因而也最为骄奢淫逸。唐人张祜的《集灵台》诗中写道:“虢国夫人承主恩，平明骑马入宫门。却嫌脂粉污颜色，淡扫蛾眉朝至尊。”透露出了虢国夫人与唐玄宗之间存在的隐秘关系。
玄宗与杨贵妃每年冬季前往华清宫时，杨氏姐妹也时常一同前往，其中虢国夫人每次也没有落下过。杨贵妃第一次出宫风波过后，玄宗特地宴请诸杨，却回避了虢国夫人，显然是为了照顾杨贵妃的情绪。
总的来看，唐玄宗对杨贵妃的恩宠程度已经超过了武惠妃，他们之间除了过着奢侈豪华、醉生梦死的生活外，还经常四处游乐，歌舞助兴。在华清宫还专门为杨贵妃建筑了汤池，人称贵妃池，也叫海棠池。此池在上世纪八十年代已经发掘，呈椭圆形。
杨贵妃喜食新鲜荔枝，玄宗下令从岭南快马传送，唐代诗人杜牧的《过华清宫绝句》三首中有一首专门写到了这种情况。所谓“长安回望绣成堆，山顶千门次第开。一骑红尘妃子笑，无人知是荔枝来”，用来讽刺这种劳民伤财的举动。
不过，杨贵妃虽然备受恩宠，生活奢侈，但她却不是一个权力欲很强的女人，在史书中也极少见到有关她于预政事的记载。虽然杨氏家族中人，尤其是杨国忠专权擅政，做了不少祸国殃民的事，但这些却与杨贵妃并无直接的关系，更多还是要唐玄宗负这个责任。自唐代以来，历代都有不少人对女色误国之事多有批评，对杨贵妃也多有微词，这些都是没有道理的偏见。客观地看，根子还在唐玄宗身上，把责任推到一个女人身上，是一种陈腐的观念。