雖然古巴媒體禁止報道有關卡斯特羅的私生活，但多年來不少以他為主題的傳記揭開他的神秘面紗。在五、 六十年代，卡斯特羅有外號叫「馬」，因為他風流，而且當時他在古巴被視為性感偶像。已知的是他有兩段婚姻及四名情婦，他年輕時，因其革命先鋒形象及雄赳赳外表，令不少女子傾慕，他亦享受注視，時常發生一夜情。
他一九四八年迎娶第一任妻子梅達（Mirta Diaz-Balart），二人育有一子費迪利圖（Fidelito Castro），也是卡斯特羅唯一公開承認的子嗣。費迪利圖於古巴出生長大，曾掌管古巴原子能委員會，後因無能而被父親廢職。在第一段婚姻期間，卡斯特羅跟古巴已婚名媛妮妲莉亞（Natalia Revuelta Clews）有婚外情，有稱「古巴最美的女人」的妮妲莉亞資助古巴革命，之後妮妲莉亞更為卡斯特羅誕下一女艾蓮娜（Alina Fernandez Revuelta）。艾蓮娜在美國為人認識，因她九三年由古巴偷渡到美國邁亞密，之後多次公開批評父親政權。梅達與卡斯特羅於五五年離婚，之後他娶了第二任妻子戴莉亞（ Dalia Soto del Valle），並育有五名子女。
卡斯特羅最著名的情婦，是受美國中情局委派去毒殺他的瑪莉達（Marita Lorenz）。瑪莉達是生於德國的美國人，年僅十九歲時，隨父親到古巴夏灣拿，因緣際會認識了卡斯特羅，並共賦同居。她有了卡斯特羅的骨肉，但在懷孕七個月時被迫流產，之後她到了紐約，成為美國中情局間諜，被派毒殺卡斯特羅，可是為卡斯特羅得悉，給她一把槍，叫她下手殺他，但同時說：「你不會殺我，沒有人能殺我。」瑪莉達憶述，她聞言頓時感到洩氣，發覺自己依然深愛卡斯特羅，二人並發生關係。難怪卡斯特羅情聖形象深入民心，瑪莉達與卡斯特羅的故事，將會搬上銀幕，由奧斯卡影后珍妮花羅倫絲（Jennifer Lawrence）飾演瑪莉達。●