李岡生於五十年代香港，父親是工人階級，母親是清潔工人，家中有八兄弟姊妹，生活相當困難，「小時候一家住在九龍仔的鐵皮屋，有一年大火，我們才被安置去一些臨時石屋居住，暴動時我才讀中一，讀至中二便出來工作，幫補家計，第一份工是在會計師樓做office boy，半工讀在華仁書院夜校讀至中學畢業，同學介紹我去航空公司當文員，後來佳視開台招募藝訓班學員，我便寫信去投考，當時有五、六千人報考，約五十人被取錄，同期同學有鄭裕玲、魏秋樺、李通明及程思俊等，完成半年課程，有十多廿人獲正式簽藝員約，我是其中一個。」
自訓練班畢業，李岡在佳視第一套演出的劇是《射鵰英雄傳》，他坦言自己當時毫無演技，「白彪及米雪是劇中男女主角，我就飾演蒙古兵，一出場就死，訓練班出來完全不懂做戲，中刀便躺下，連死的反應也不懂，結果死了十幾take。在佳視短短一、兩年其實做了很多工作，陳復生的爸爸做配音組領班，我跟過他做配音；馮淬帆做製作經理，我又轉做副導演；後來葉潔馨知道我是訓練班畢業，當時正值有很多新劇開，包括徐克的《流星蝴蝶劍》及《金刀情俠》等，覺得我適合可做回演員，由原來的八百元工資，加至一千六百元，開心到不得了；我原名叫李全厚，公司覺得做藝員個名要夠響亮，當時負責宣傳部的盧國沾幫我改了藝名李岡，後來有段短時間我又改名李岡龍，因為李小龍、成龍及狄龍都紅極一時，我都希望加個龍字，可以像他們般走紅。」
可惜佳視不足三年便倒閉，李岡的演員生涯亦被迫終斷，「佳視結業後，鄭裕玲及程思俊就去了無綫，魏秋樺就去了麗的，我就跟朋友去了新蒲崗的工廠上班。由於在佳視後期拍《紅樓夢》跟陶敏明合作，亦因此認識了龍哥（狄龍），有一天在街上巧遇他，他知道我做工廠，問我還想拍戲嗎？我當然想再拍戲，他就叫我下星期去邵氏，帶我入廠找導演孫仲，他幾句說話，我馬上便有戲拍，後來又推薦我簽羅維，不過很不幸，簽完約後，當時羅維手上的王牌成龍被嘉禾搶走了，我簽了三年約，唯有跟羅維去台灣拍電影及劇集，其中拍了《雍正與年羹堯》，徐少強演四阿哥，我則演十四阿哥，在戲中爭王位。」
幾年後李岡從台灣回來，重遇當年曾合作拍《白髮魔女傳》的李麗麗，獲對方引薦去了麗的拍了一系列受歡迎劇集，「個人最喜歡《再向虎山行》，我在劇中飾演一位小太監，非常好身手，被米雪愛上，但礙於身份的關係，我只好拒愛，我很懷念當時年輕，很多武打場面可以打到身水身汗，加上此劇的文戲亦寫得很好，我以前去馬來西亞登台都經常唱這首主題曲，當時正值麗的轉亞視年代，公司開了很多武俠劇，由於我本身有功夫底子，可以說是開正我條路，其時工作機會非常多，在亞視年代跟秋官合作，後來他介紹我拍台灣製作的《戲說乾隆》，這套劇在北京及杭州拍攝，前後拍了九個月，很多外景拍攝，風景優美，劇本亦好，我在劇中演乾隆的大內侍衛總管；在亞視跟潘志文亦合作很多，大家非常老友，他後來過檔無綫，就叫我過去玩，我在九七年就轉投無綫。」
李岡在麗的及亞視年代的演出，擔戲頗重，在劇集《武林故事》更擔正演出南門拾，他坦承曾經有段時間對拍劇感到厭倦，「拍戲很奇妙的，如果跟同劇演員合得來，時間過得很快，很開心的，可以拍到有發揮的戲，是很stimulate（刺激）的，但有些角色毫無發揮的，也會有失落感，我在九十年代曾經邊拍劇邊做地產經紀，不過也沒有完全脫離這個圈；這一行見盡起起跌跌，有時見別人比自己遲加入公司，但得到好的角色，也會感到不是味兒，我亦曾經試過調整不到自己的心態，《陀槍師姐》的監製鄺業生就勸我不要跟別人比較，做好自己便夠，我慢慢將自己調整，找回一些自己的興趣，例如打功夫，令自己正面一點，就不會太容易陷進情緒低落之中。」
李岡少時家貧，沒機會學音樂，他近年重拾興趣，正式跟老師學結他，一圓自己的夢想，「中一學校有話劇班，每年度每一班都有表演，我也有參與，都有得過獎，有些同學彈結他，我覺得幾好玩，又跟同學一起玩，第一首彈的歌是《Five Hundred Miles》，第二首彈的是《Today》，從沒有正規去學；家中有個結他，近年經常在網上看別人彈結他的片，希望學好一點，終於正式找個老師學，除了彈奏，也有理論課，我覺得做人不用理會什麼年紀，應該終身學習。」
李岡與太太結婚多年，膝下猶虛，他們亦樂於過二人世界，「我二○○○年才結婚，也算是遲婚，太太是朋友介紹的，是圈外人，我的生活算是健康，不過多年來做這一行，就未能做到早睡早起，習慣比較遲睡，由於沒子女負擔，跟太太的生活很自由，我的性格要維持有工作，我覺得沒有工作會很單調，我很怕悶，我希望像修哥（胡楓）及羅蘭姐一樣，可以一直工作下去，當然現在不能太辛苦，在亞視年代可以同時開三套劇，連睡覺時間也沒有，現在體力已負擔不來。」