唐玄宗對楊貴妃的專寵，逐漸養成了她恃寵任性、悍妒異常的性格，以至於使玄宗忍無可忍，兩次將楊貴妃驅逐出宮。具體情況如下:
第一次風波發生在天寶五載(746)七月，史載:「貴妃以微譴送歸。」(《舊唐書·楊貴妃傳》)另據(新唐書》、《資治通鑑》記載，楊貴妃是因「妒悍」而「不遜」，即出言頂撞了玄宗，致使玄宗一時難以忍受，遂將她送歸堂兄楊銛府第。楊銛事先沒有得到一點風聲，貴妃的突然被遣送回來引起了全家的驚恐不安，並在所有的楊氏諸家中都引起了極大的震動。
楊貴妃被送出宮後，玄宗整天鬱鬱寡歡，「比日中，猶未食，左右動不稱旨，橫被棰撻」(《資治通鑑》卷215)。可見晚年的唐玄宗對楊貴妃依戀到何種程度，他們之間幾乎形影不離，所謂「行同輦，止同室，宴專席，寢專房」(陳鴻《長恨歌傳》)。玄宗因一時氣憤將她逐出宮後，立即就感到寂寞難耐，但又不好出爾反爾馬上把她接回來，於是只好把氣全撒在了左右之人的身上。
只有跟隨玄宗多年的宦官高力士深知皇帝的心思，於是建議將貴妃的供帳、器玩、等悉數裝車，送到了楊銛家中，表示皇帝仍然繼續關心著貴妃的起居生活，使緊張的氣氛緩和下來。玄宗馬上命令照辦。當天下午這些東西就被送到了楊銛家中，楊氏家族中人見此情況，無不歡欣鼓舞，緊張的心情這才鬆弛下來了。接著高力士又建議把貴妃迎回宮中，玄宗早就等不及了，一聽此言，馬上同意，於當天夜裡打開禁門，命人將貴妃迎回宮中。一場風波就這樣平息了。
有一種說法，楊貴妃的悍妒是因為梅妃的受寵。有一本書叫《梅妃傳》，無名氏所撰，說梅妃姓江，名采苹，由於她多才且貌美，也深受玄宗寵愛。其實歷史上並無梅妃其人，這本書也是後人的附會之作，不足為信。
楊貴妃的第二次被遣送出宮是在天寶九載(750)二月，據《開天傳信記》一書記載:「太真妃常因妒媚，有語侵上，上怒甚，召高力士以輜軿還其家。妃悔恨號泣，抽刀剪髮授力士日:「珠玉珍異，皆上所賜，不足充獻，唯發父母所生，可達妾意，望持此伸妾萬一慕戀之誠。」上得發，揮涕憫然，命力士召歸。」
另據《資治通鑑》卷216記載，楊貴妃頂撞了玄宗後，玄宗遂命人將其送歸家中，至於是誰送她的卻沒有記載姓名。新舊《唐書》也是如此。後經戶部郎中吉溫勸告後，玄宗又後悔了，遂派中使赴其家探視，貴妃剪髮請中使帶回，玄宗遂命高力士將其接回，「寵待益深」。 吉溫的出面勸諫，是受楊釗的委託。當楊貴妃第二次被送回家中時，楊氏全族驚恐不安，他們的榮華富貴全仗楊貴妃一人，如果由此失寵不復召回，那麼楊氏家族從此就墜入萬丈深淵了。
在這種情況下，楊釗只好與吉溫商議對策，這才有了上面的一幕。楊釗因為在這次風波中調解有功，加之具有一定的辦事能力，因而受到玄宗的賞識，遂賜名國忠。
楊貴妃因為妒悍而兩次被送出宮中，到底是誰引起了她如此之大的妒火呢?史書中沒有明確記載，但是從種種跡象來看，這個人很可能就是虢國夫人。虢國夫人美貌絕倫，而且長期孀居，早年在西蜀時就與其堂兄楊釗勾搭在一起，到了長安後，在諸姨中她最受皇帝的恩寵，因而也最為驕奢淫逸。唐人張祜的《集靈台》詩中寫道:「虢國夫人承主恩，平明騎馬入宮門。卻嫌脂粉污顏色，淡掃蛾眉朝至尊。」透露出了虢國夫人與唐玄宗之間存在的隱秘關係。
玄宗與楊貴妃每年冬季前往華清宮時，楊氏姐妹也時常一同前往，其中虢國夫人每次也沒有落下過。楊貴妃第一次出宮風波過後，玄宗特地宴請諸楊，卻迴避了虢國夫人，顯然是為了照顧楊貴妃的情緒。
總的來看，唐玄宗對楊貴妃的恩寵程度已經超過了武惠妃，他們之間除了過著奢侈豪華、醉生夢死的生活外，還經常四處遊樂，歌舞助興。在華清宮還專門為楊貴妃建築了湯池，人稱貴妃池，也叫海棠池。此池在上世紀八十年代已經發掘，呈橢圓形。
楊貴妃喜食新鮮荔枝，玄宗下令從嶺南快馬傳送，唐代詩人杜牧的《過華清宮絕句》三首中有一首專門寫到了這種情況。所謂「長安回望繡成堆，山頂千門次第開。一騎紅塵妃子笑，無人知是荔枝來」，用來諷刺這種勞民傷財的舉動。
不過，楊貴妃雖然備受恩寵，生活奢侈，但她卻不是一個權力欲很強的女人，在史書中也極少見到有關她於預政事的記載。雖然楊氏家族中人，尤其是楊國忠專權擅政，做了不少禍國殃民的事，但這些卻與楊貴妃並無直接的關係，更多還是要唐玄宗負這個責任。自唐代以來，歷代都有不少人對女色誤國之事多有批評，對楊貴妃也多有微詞，這些都是沒有道理的偏見。客觀地看，根子還在唐玄宗身上，把責任推到一個女人身上，是一種陳腐的觀念。