韋家雄廿歲出頭做爸爸，女友懷孕於是結婚，但因工作忙碌冷落太太，兒子十歲時他離婚，當時太太已另找到對象。「感情上我是失敗者，處理不好，離婚後帶着兒子過TVB，兒子選擇跟我，那時最辛苦，他要上學，我要拍劇，○六收工，立刻趕回家，洗個臉就載他上學，學校要見家長，自己好辛苦都盡量去。」現在兒子廿多歲，父子相處像朋友，兒子的女友搬來一起住，他沒所謂。
韋家雄曾與同劇的陳嘉嘉拍拖，同居三年，但這段情一年前已成歷史。「很可惜，分手原因幾牽強，她說家人覺得我年紀大，我今年五十，她三十四，她家人有個錯覺，年紀大要人照顧。」嘉嘉用微信提出分手，他說好處是有大段文字看了廿次，慢慢思考後回覆：「好。」沒多問就搬走，現在嘉嘉仍在無綫，碰面做到朋友，他坦言仍掛念對方。