謝賢我們對他的認識最深刻的應該是謝霆鋒的父親，年紀已經80多歲了，但是還是風流不減當年。和他20幾歲的小女友，被很多人成為爺孫戀。除了這個之外他還有4段感情為人所知，這四位女友分別是嘉玲、蕭芳芳、甄珍和狄波拉。
謝賢的第一位女友叫做嘉玲，她與謝賢不但是演員訓練班的同學，更是同一個公司的師兄妹，在60年代初兩人被譽為當時最紅的銀幕情侶。但是因為謝賢生性貪玩，從而冷落了嘉玲，導致兩人的感情慢慢疏離。
1968年左右，謝賢與蕭芳芳合作日久生情，後因性格差異，倆人僅相戀了一年多，蕭芳芳便主動向謝賢提出分手。蕭芳芳內地觀眾熟悉她，皆因李連杰版的《方世玉》，她在影片中飾演方世玉母親苗翠花。
1973年，謝賢到台灣發展，和甄珍兩人合演《海鷗飛處》相識，該電影拍完後，甄珍跟謝賢成了情侶，並且於1974年3月閃電結婚，可惜兩人婚姻僅僅維持了兩年多便協議分居，據說後來因為第三者劉家昌介入，導致這段婚姻結束。
狄波拉是香港七十年代第一位港姐冠軍，進入娛樂圈後紅極一時，1978年，謝賢瘋狂追求狄波拉。1979年兩人結為夫妻，為了家庭，狄波拉的演藝活動逐漸減少，並且生下謝霆鋒謝婷婷兄妹二人。1995年，因狄波拉無法忍受謝賢的風流而協議離婚，離婚後兩人共同撫養孩子。
對於謝賢的風流往事我們不得不驚嘆，要知道當年的謝賢也是小鮮肉啊。現在的謝四爺風采依舊和女友活躍在娛樂圈。對此我們這些吃瓜群眾還是表示祝福吧！