謝賢一生有兩段婚姻，五段公開過的戀情。七六年與甄珍結束三年婚姻，七九年與狄波拉共偕連理，兩人育有一子一女謝霆鋒和謝婷婷，九五年離婚後，成為好友。
年輕時的謝賢風流倜儻，身邊從不缺絕色美女或出色的女人。謝賢第一段正式戀情是粵語片紅星嘉玲，一九五五年，謝賢加盟了光藝電影公司，從而認識同公司的嘉玲，兩人開始在演藝上合作，如《椰林月》和《相思谷》等，經常在銀幕出現，迅速被捧為金童玉女，嘉玲曾承認與謝賢維持了七年的戀情，有傳因男方下不了結婚的決心，是二人的分手原因，謝賢曾說：「兒時無錢，有錢時就出去喪玩，怎知有一日她突然說結婚。」後來嘉玲與謝賢分手後，閃嫁泰國富商。謝賢曾在《魯豫有約》節目中，談及嘉玲，「既然選擇分手，就沒有什麼好留戀的，作為朋友，到現在我去泰國，她每次也請我吃飯，她來港我也一樣。」
第二任女友是蕭芳芳，當時芳芳姐加入了光藝電影公司，成為謝賢同門師妹，那時剛二十歲的芳芳姐，美艷不可方物，在謝賢的追求攻勢下，二人拍拖。有指芳芳姐抵受不了謝賢夜夜笙歌，而謝賢亦知道芳芳姐是個好女仔，故決定退出，謝賢曾說：「她很乖，有日提議我去學英文，我連玩的時間也不夠，還要我學英文？我知道她是好女仔，我不要害人了，我覺得自己做了一件偉大的事。」
至七○年，謝賢拍電影《緹縈》時，邂逅了人生中第一位妻子甄珍，她是位大美女，謝賢對她激烈追求，七四年，甄珍在沒有通知父母情況下結婚，其後音樂人劉家昌對甄珍窮追不捨，高調追求，加上媒體興風作浪，謝賢對甄珍疑心重重，最終夫妻感情破裂，婚姻只維持了三年，離婚收場，甄珍後來嫁予劉家昌，四哥曾說：「簽了離婚紙後，我駕車上了山頂哭了十五分鐘，然後跟自己說『過去了，不要再想。』然後就放低了。」事後甄珍也讚賞過謝賢是個厚道和善良的人。
謝賢追了五年半才追到甄珍，但她最終還是離開了他
與甄珍離婚後，謝賢沉迷夜店和賭博，加上投資失敗，老本花光，把自己住的房子賣了用來還債，後來在朋友介紹下，租了女演員狄波拉的房子，兩人因而相識，日久生情，狄波拉比謝賢年輕十多歲，很多人都勸狄波拉，謝賢是個影壇浪子，做情人沒問題，但談婚論嫁一定不是好丈夫，但她一意孤行嫁給謝賢。七八年，四十三歲的謝賢在巴黎娶了二十八歲的狄波拉，婚後育有一子一女謝霆鋒和謝婷婷。有了前車之鑑，謝賢學乖了，兩人的婚姻維持十六年之久，直至九五年，二人因性格問題和平分手，離婚後也成為好友，不時相約吃大餐。
能夠在前夫謝賢的真誠祝福下，拉姑再披嫁衣，下嫁江耀城，實在令一眾姐妹們羨慕不已。
○六年，六十九歲的謝賢宣布與比自己年輕四十九年的上海女友Coco相戀，被指是「爺孫戀」，初時外界也不看好，但兩人不時公開親吻，○八年還一起參加內地節目《舞林大會》，四哥曾說：「這是我最後一段感情，我想好好保存。」Coco也曾剖白：「和他一起很幸福，但壓力很大，他是個很紳士男人。」四哥對Coco呵護備至，有指曾資助女友到英國進修，「爺孫戀」維持了十二年，一七年傳出二人分手，有傳他付了二千萬分手費，八十多歲的謝賢回復單身生活。但不久又傳復合，指Coco經常到寓所探望四哥，未知是真是假？
