譚炳文育有一女一子，女兒譚淑瑩可能因為看到阿爸多才多藝，她三歲就已經想做這一行，可惜父母都不支持，媽媽尤其反對。炳哥有他的看法：「做這一行，紅就話好，萬一唔紅唔黑，怎辦？這樣會丟懶個身，當年係我唔識想啫，如果我不做藝人，我也可以做生意。」他是絕頂聰明的人，腦筋轉得好快，「我吹色士風又可以賺錢。我去綠邨電台及香港電台，又可以攞期搵一些阿太去唱吓粵曲，收返利市。」
演戲始終是瑩瑩的心願，她開始先學唱粵曲，老爸又為她叮板，覺得唔係好掂，又介紹了一個老師給她操曲，現時她在無綫做特約演員。「我做特約冇講俾爸爸知道，他都是看了電視才知道我做特約。」
雖然炳哥非常忙，但他也會照顧兒女們，「爸爸忙完回家，我們會爬上他的背脊，為他揼骨，當時我們住在銅鑼灣，去食嘢不用埋單，因為爸爸每個月就會去結帳。我們吃完拍吓屁股就回家。」
炳哥教導子女的方法，不贊成體罰，瑩瑩小時候，他只打過她兩次，「雖然爸爸不罵我們，始終都怕佢，他不會囉唆，子女做錯了，他講一次就唔再講了，不過我們就學了他，食嘢要食好食的，變得有點奄尖。爸爸也煮得一手好餸，心臟有事後，我們不再給他下廚。」
譚淑瑩非常孝順，只要爸爸不開工，肯定會推着炳哥周圍遍訪名醫，希望做些物理治療，減少他的痛楚，「唔好話我廿四孝，我爸爸可以說是四十二孝，他從來冇頂撞過阿嫲一句，只要阿嫲講句想食乳鴿，阿爸已經唔見了，他去了沙田買乳鴿，阿爺臨終前那天，他都去買外賣俾阿爺食。」
瑩瑩說爸爸對她影響最大的就是孝道及品格，是一個非常有口德的人，他只要能幫到人一定幫，亦從不提及，「爸爸經常教我們，好仔不論爺田地，這是爸爸對我最好的教訓。」不過爸爸在娛樂圈的發展，相當有天分，「他的才華，我就學唔到了。」
除了瑩瑩之外，炳哥還有一個兒子，不過小小年紀就去了加拿大讀書，講起這個兒子，有一個有趣的故事，他和家姊完全不同，性格迥異，他幾歲大去過加拿大後，竟然就喜歡上這個國家，經常吵着要去當地讀書，譚炳文覺得他年紀小，並不贊同。他十二歲時，卻夾埋媽媽及嫲嫲，偷偷的買了張機票，第二天就要飛去加拿大，他才告訴炳哥，他要走了，瑩瑩說：「我完全冇書緣，弟弟卻比我愛讀書，他的子女都很叻。」炳哥說：「我個仔成個鬼仔咁，他說自己是加拿大人。」他老懷大慰說，他有四個孫，個個都好叻，大孫做酒店經理、孫女做檢控官、一個做見習律師、一個仍在讀書。
當年炳哥搵錢搵到手痠，但他這個人對金錢卻睇得好化，「有些事係整定的。」人生幾十年，什麼都睇化了，不要太執着，他賺到的錢，都蝕了不少股票，晚年捱病痛，反而是他不能忍受的，「我以前食好多嘢，現在卻明顯胃收細，只係食一啖飯，冇胃口，想食又食唔落，加上痛楚，愈來愈瘦。」
炳哥出生於一九三四年，今年八十六歲，對於死亡，他毫不害怕，他說：「千祈唔好辛苦，但現在一痛就是辛苦。」瑩瑩反而忌諱爸爸提及個死字，「我哋唔捨得你㗎，你是我們屋企的icon。」