曼德拉曾经有过3次婚姻和6个孩子，养大成人了5个孩子。其妻子分别是伊芙琳、温妮和格拉萨。第一任夫人伊芙琳为他生养了4个孩子，其中的3个被养大成人；第二任夫人温妮为他生养了两个女儿。
结发夫人及其孩子
1941年，23岁的曼德拉认识了革命领路人西苏卢，经过他的介绍，曼德拉认识了其表妹伊芙琳·梅斯。翌年，曼德拉与伊芙琳结婚。但由于曼德拉成为职业革命家后，很少顾及家庭，夫妻俩隔阂日益加大，理想慢慢偏离，爱情渐渐磨光，最终于1958年黯然离婚。2004年，和曼德拉离婚46年后的伊芙琳病逝。
曼德拉、伊芙琳两人共生下两男两女。1945年，9个月的大女儿不幸夭折，更不幸的是，大儿子马迪巴·桑贝基勒于1969年7月13日，在开普敦因车祸受重伤而死，时年24岁，身后留下美丽的妻子托科和两个可爱的女儿恩迪莱卡、南迪。
当时正被囚禁在罗本岛监狱中的曼德拉，甚至没有被允许见儿子最后一面！曼德拉在获悉噩耗后，给第一位夫人伊芙琳写信说：“他的离去对我的打击是沉重的。至少有60个月（5年），我都没有见过他，而更让我心痛的是，我不仅没有参加他的婚礼，在他遭遇车祸后也没有参加他的葬礼。”他对第二个妻子温妮写信说：“下午2点半的时候，我收到了儿子的死讯，突然间就感觉心跳停止，过去51年内在我血管里流淌的，温暖的血液也突然凝结成了冰块。我无法思考，无力说话，全身似乎没有一点力气。……我从头到脚都在发抖，过了很久都不知道该做什么。我慢慢踱回了牢房，双肩感到异常的沉重，而牢房似乎是一个受到打击者最后的藏身之处了。”
1945年2月23日，曼德拉的长子马迪巴·桑贝基勒（桑比）出生了。起初，桑比在马塔泰勒学校学习，后转到沃德豪斯学习，期间，父子一直保持通讯，从未间断。1960年，曼德拉曾经开车跑了很远去看15岁的儿子。1962年7月底，曼德拉从英国回来，发现17岁的长子已经是个很健壮的小伙子了。那天他特意穿了父亲的裤子，有点肥也有点长。曼德拉想，他有很多衣服，尤其是礼服，穿父亲的裤子背后隐藏的感情太明显了，曼德拉十分感动。后来，桑比从寄宿学校回家，他热情地跑来看父亲，还紧紧地握着父亲的手，握了很久。之后，父子俩坐下聊天。有时，会谈到他的学习，他告诉父亲许多事情，17岁的他，已经开始对莎士比亚的《尤里乌斯·凯撒》感兴趣了，这让曼德拉十分欣慰。这次见到17岁的儿子，两人已经像朋友一样交流了。曼德拉知道温妮已经给了儿子生活费和购买了衣服，但他还是把口袋翻了底朝天，把所有的铜币和银币都找出来塞给了儿子，这也是一个逃亡的职业革命家能给得起的了。
1962年8月，桑比在瑞佛尼亚法庭见了父亲最后一面。他坐在父亲的后面，曼德拉不断回头看他，朝他点头，还给了他最灿烂的笑容。那时候，大家都认为曼德拉会被判死刑。每次父亲朝他点头，桑比也点头，但他从来不笑，一次也没有，他为父亲担忧。
2005年1月6日，曼德拉对记者们宣布，他的次子马克贾托·曼德拉（1950 ~ 2005）当日在约翰内斯堡一家医院死了，终年55岁。数小时后，曼德拉公开了次子的死因——艾滋病。他说：“唯有公开艾滋病，不要隐藏它，艾滋病才能被当成一种普通疾病。”86岁的曼德拉老泪纵横地说。
由于长女早夭，长子遇难，曼德拉把所有的期望都寄托在所剩的唯一的儿子马克贾托身上。1969年，马克贾托开始了第一份工作，他在南非联邦保险公司做职员，一干就是15年。1990年，马克贾托到巴西留学，学习法律，经过7年学习，获得法律学位。2000年，马克贾托进入律师行业。因为拥有丰富的保险业经验，马克贾托成为标旗银行法律顾问小组成员，随即辞去原来的工作，专心在标旗银行服务。马克贾托还在一家生产健康产品的公司任主席，他的产品遍及全南非大陆。
1950年，马克贾托出生的那一年，正是曼德拉开始带领工人进行总罢工的时候。年轻的曼德拉致力于革命斗争，所以马克贾托从出生起就与父亲没有太多的亲近时间。马克贾托6岁时，曼德拉以“叛国罪”被起诉，从此开始漫长的审讯过程。1956年12月，6岁的马克贾托知道父亲在约翰内斯堡监狱候审，他从东奥兰多去了西奥兰多，跑去看生母伊芙琳，告诉妈妈他想爸爸，那天晚上，他就睡在父亲的床上。
后来曼德拉从事地下活动，1961年，他还被任命为“非国大”军事组织司令。1962年，曼德拉被逮捕，从此开始27年的牢狱之灾。当局一直不允许马克贾托去罗本岛探望父亲，直到他16岁那年，才大发慈悲办到了许可证。从那以后，马克贾托每年都到罗本岛看望父亲一到两次，直到1983年，马克贾托中断了去监狱看望父亲，而且很少给父亲写信。
曼德拉曾经这样形容儿子，“他是个可爱的小伙子，但是他的弱点是不能写作，即使是他的家族有那么多传奇性的故事可以写书。”1994年，曼德拉举行总统就职仪式，因为要参加法律考试，马克贾托没有参加。
梅基·曼德拉生于1954年，是曼德拉与伊芙琳所生的小女儿，也是曼德拉在世的3个女儿中最年长的，她是个全能型的女强人。梅基拥有博士学位，曾任南非发展银行执行董事，同时还是南非国有铁路公司的经理之一，是南非政坛的名人。
“黑人母亲”及其两个女儿
1958年，曼德拉认识了年轻漂亮的温妮，两人一见钟情，不久结婚。
在20世纪七八十年代，“温妮·曼德拉”是南非的名人。她勇敢地站在革命前线，支持牢中革命丈夫的事业；同时，她东躲西藏，含辛茹苦地抚养几个孩子。温妮总是很乐观，也要求孩子们时刻都要坚强。温妮曾经对孩子们说：“我不想看见你们哭，特别是在敌人面前，不要让他们看到你们的脆弱。”
在革命斗争中成长起来的温妮，以战斗、忠贞、母爱的形象赢得了广大黑人的爱戴，享有“黑人母亲”的尊称。但到后来，与丈夫分别太久的温妮逐渐蜕化变质了。随着地位的提高，个人威信的扩大，温妮的专横跋扈、野蛮霸道逐渐暴露了出来。她的政治观点变得激进，崇尚暴力，生活腐化，经常发生性丑闻。
曼德拉1990年出狱后，想与妻子破镜重圆，却发现温妮丑闻缠身。曼德拉苦口婆心，但无法挽回妻子的渐行渐远的心，他说，从出狱后与温妮生活的那段时间，他成为世界上最孤独的人。1996年，曼德拉与温妮离婚。2003年4月，66岁的温妮因犯有盗窃、欺诈等共计68项罪名而被判入狱5年，缓刑1年。
曼德拉与他的第二任妻子温妮共有两个女儿，分别是泽妮·曼德拉和津齐·曼德拉。在曼德拉坐牢期间，泽妮和津齐被迫从小送到邻国斯威士兰读书。
读书期间，泽妮与斯威士兰国王索布扎二世的第58个儿子姆兹·达拉明尼相恋。1973年，泽妮嫁入了王室，成为斯威士兰王妃。泽妮嫁入斯威士兰王室，又曾到外国留学，因此是曼德拉几个子女中穿衣服最为注重的一个，她曾被评为南非十大穿衣时尚女人之一，常常引领南非时尚潮流。
当津齐还是襁褓中婴儿的时候，父亲曼德拉就被送进了监狱，那时的津齐只有18个月大。而当津齐再一次在罗本岛的监狱见到父亲的时候，她已经是14岁的少女了。
津齐讲得一口流利的法语。她长期陪伴着孤独的母亲，从十几岁就开始写诗，抒发自己的感情。1985年，津齐成了世界新闻的头条人物，她代表父亲宣读一份公开信，拒绝南非政府有条件释放曼德拉的要求。在这份公开信中，津齐读出了广为人知的“我父亲说，如果人民的组织依然被禁止，那我究竟得到的是怎样的自由？只有自由人才能够谈判，囚徒不可能签下任何合约。”不仅重申曼德拉拒绝妥协的立场，而且呼吁其追随者发动规模更为广泛的斗争行动。
1996年，曼德拉和温妮的婚姻走到了尽头。津齐在很长一段时间里都无法接受这个事实。整整两年，津齐几乎断绝了与父亲的联系。1998年，曼德拉迎娶了第三任妻子——莫桑比克前总统的遗孀格拉萨。津齐用了很长时间才接受了这位继母，她跟父亲的关系也随之有了很大改善。津齐说：“现在我们可以坐在一起聊天了，他也不像以前那么犀利。”
2010年，津齐频繁出席各种场合，渐渐成为了曼德拉的代言人。之后，已经做了祖母的津齐是位成功的商人，但她并不擅长经营婚姻，津齐说这缘于从小缺少父爱。津齐曾公开承认对婚姻生活没有信心：“我已经离过两次婚了，之后我又尝试过，但是真的不行。”
晚年伴侣是女英雄
1996年，在法国巴黎的一次正式宴会上，曼德拉一语惊人：“我再次坠入了爱河，连我自己都没想到。”在众人惊愕的目光中，曼德拉满脸幸福地公布了与莫桑比克前总统马谢尔遗孀格拉萨的恋情。两人深深相爱，经常相拥合影，或者当众亲吻，不避闲言。1998年7月18日，曼德拉80岁生日那天，53岁的格拉萨成为曼德拉的新娘。
格拉萨为曼德拉的生活注入了新的活力，使他重新感受到拥有一位体贴入微的爱侣是多么的快乐。精通葡萄牙语、德语、法语、西班牙语和英语的格拉萨说，她同曼德拉的关系并非始于一见钟情，而是随着时光的流逝逐渐建立起来的。曼德拉开玩笑说：“从今往后，我生活中最重要的内容有两个，第一个是格拉萨，第二个是到莫桑比克吃大虾。”
格拉萨聪明而有雄心，1945年出生于一个部落酋长家庭，自幼接受了良好的教育，并在葡萄牙里斯本大学获得文凭的少有的非洲妇女之一。20世纪60年代，她与该国农民领袖萨莫拉·马谢尔邂逅，成为一名为自由而战的女战士。莫桑比克独立建国后，她曾担任过莫桑比克共和国教育部长，也是莫桑比克解放阵线执政的头11年里担任部长职务的唯一女性，智慧和才华被国际社会赞誉。退休后，格拉萨致力于妇女儿童工作，她在国人心中是一位女英雄。1975年9月，30岁的她嫁给了莫桑比克解放阵线领袖、莫桑比克总统萨莫拉·马谢尔。1986年10月，马谢尔在南非死于一次飞机失事。
2004年7月18日，温妮出现在曼德拉86岁的生日宴会上，温妮的出现表示她和曼德拉的关系有所缓和。在宴会上，有一个镜头特别感人，温妮和格拉萨一起帮助曼德拉切开生日蛋糕后，两任妻子自然而然地拥抱在一起。
