杜月笙身體一向不好，卻好女色，而且還吸食鴉片，煙癮很大，每天得抽二三兩。他自己花天酒地，過著荒淫無度的生活，對他的女人卻管得很嚴。
杜月笙有5個老婆。跟黃金榮時，阿桂給他介紹了一個，人稱「老四」，算是他的大老婆，後來，杜月笙聽說老四與其表弟有曖昧行為，便找人打斷了表弟的雙腿，把腳砍去，終生殘廢。以後弄清楚完全是誤聽讒言，他又怕別人議論，只好把這個表弟收養在家，不久這人就死去了。
杜月笙還把老四的司機的兩眼搞瞎，把老四幽禁在一間小屋裡，與外界隔絕，幾年後，老四的領子維藩娶親，才把老四放出。大兒子杜維藩不是他親生，是這個叫老四的大老婆抱養的，自這個兒子抱進門後，事事順利，因此把這個兒子看成了「興家寶」，非常喜愛，勝過親生。
杜月笙以後又從妓院中娶了老三、老五兩個小老婆，還不滿足。把一個京戲名演員姚玉蘭收為小老婆。姚玉蘭原是唱毛兒戲的。她的假母小蘭英，是有名的坤伶鬚生，玉蘭以外，她還有一個假女叫玉英，她們在舞台演出被杜看中，杜原想娶玉英，玉英病死了，才娶了玉蘭。小蘭英在玉蘭跟杜以後，就出家出當了尼姑。
抗戰勝利後，杜月笙又與京戲名演員孟小冬同居，孟小冬在大世界唱過戲，後來成了有名的鬚生。她在抗戰勝利後到上海，投靠姚玉蘭，呼姚為「阿姊」，同住在長樂路十八層樓，和杜發生了關係，直至解放前夕，杜去香港，才宣布和孟結婚。那時杜月笙已經60歲開外了。
杜月笙雖有這些老婆，還愛經常到會樂里長三堂子去胡調，以抗戰前銀元來計算，他在長三妓院請次「花酒」，總是500一1000元。以後他得了氣喘病，連上層樓都費力，卻還是要去這些地方玩，上不得樓，便叫人用車椅把他抬上拾下。
他不但對自己老婆管理嚴格，還愛多管閒事，插手別人家的花花事。抗日戰爭時期在重慶，聽到楊虎丟在上海的一個名叫「小老虎」的小老婆，與楊的徒弟汪盼有關係，他和戴笠一定要楊虎設法把汪盼殺掉，說這是嚴重違犯了幫會規矩，非置於死地不可。以後不知道是什麼原因，楊虎並沒有殺汪，他對此事還表示很不滿意。
解放前夕，杜月笙賣掉了上海的房子，賣了45萬美元。他帶著這筆款逃到香港去當寓公。1951年秋天他去世時，聽說只剩下25萬美元的遺產，由孟小冬和幾個老婆瓜分了。他死後屍體運往台灣，停在寄柩所內，顯赫一時的杜月笙最後落得死無葬身之地。