潘志文與很多花旦有緣，其中一位令他演出失準的是麗的花旦馬敏兒。「馬敏兒在《鱷魚淚》演我的妹妹，之後在《變色龍》演我女朋友，有一場要我吻她，我忽然接受不到吻自己妹妹，投入不到，我以為自己拍戲好叻，可以就位去吻，誰知攝影師唔幫手，拍出來穿崩了，可能出街觀眾看不清楚，但我自己看絕對清楚，覺得很失敗，一世英明，身為演員怎可以有心理障礙呢？」
另一位女拍擋余安安，和潘志文在《變色龍》也有感情線，她反而鼓勵他投入去吻。「余安安和爾冬陞（小寶）那時是金童玉女，很多時爾冬陞接她返工放工，她說：『做戲要投入些，不怕小寶在看，當他死囉，一定要似。』拍完《變色龍》，余安安放假，與陶敏明去法國旅行，我託她買兩件Burberry長褸回來給我，她說小寶呷醋，為什麼對潘志文那麼好。」
與舊愛苗可秀仍是好友
潘志文與苗可秀在亞視合作時有戀情，兩人拍拖數年，談起這位舊愛，潘志文說：「當年相愛，合作過好幾部劇集，時裝古裝都有，當時公司也有很多考慮，觀眾未必喜歡看一對情侶去演煙韌戲，所以我們合演的時裝劇《柔情點三八》，劇中我們是夫婦，但感情不好，時常吵罵，公司不敢讓我們演癡纏的戲。後來拍古裝劇《滿清十三皇朝》，我是皇帝，她是皇后；另一部《歷代奇女子》，我演劉邦，她演呂后，也沒有很煙韌的戲分。」
但結果潘志文和苗可秀未能一起，潘志文與圈外人結婚，並移民溫哥華，苗可秀則移民多倫多，近幾年兩人又分別回流，在無綫拍劇，但未有機會合作，不過兩人私底下是好朋友。
「她返來我有請她食飯，帶她去買東西，因為我擅長購物，知道去邊度食好嘢、去邊度買好嘢，我太太也有見過她，互相認識，不過早幾年有狗仔隊跟蹤我和苗可秀去買眼鏡，記者希望拍到我們去開房，可惜沒有。」
「我是一個變色龍」
潘志文現在全年有一半時間在加拿大，一半時間在香港拍劇，他樂於兩邊飛，兒子一八年底成家立室，潘志文開開心心做老爺，在加拿大擺酒，李婉華等移民加拿大的藝人朋友也有出席。
早年潘志文與太太移民後從事製衣生意，又做過商品貿易的工作，但潘志文始終喜歡拍劇，一三年左右在無綫的產量漸多。
「在加拿大休息時，看到無綫的劇集，例如《衝上雲霄》那幾部，見到一些老朋友都復出拍劇，拍得很好很靚，《鱷魚淚》、《變色龍》等的劇本可能很好，但始終現在的高清攝影、服裝、製作比七、八十年代出色很多，我都想拍些靚東西『省吓招牌』給觀眾看。」
他回流後拍過一部《再創世紀》，他的戲分要在深圳龍崗拍了兩個月。「我自得其樂，我是一個變色龍，很容易融入不同環境，即使去到深圳，都可以認識當地朋友，到處吃好東西，我又喜歡『淘寶』，到處找古董古物購買。」
潘翁的煩惱
潘志文除了喜歡穿軍服，又喜歡佩戴古玉古物，隨便看看他身上，手上有一隻玉戒指，頸上則有天珠鏈墜，「早前一位順德的朋友送給我的，這個叫做九眼天珠。」衣服裏面有一塊玉牌，幾個月前一位中山的朋友送給他的。
他又透露：「一兩年前，我有些不太開心、解決不到的問題，問遍觀音菩薩、關公、黃大仙，都不太幫到我，身邊親戚朋友帶我返教會，聽吓道理，只有耶穌幫到我，我就信了基督教。」行內都稱潘志文為潘翁，潘翁的煩惱，耶穌才幫他解決到。
