蔡少芬有一个众所周知的辛酸身世，因为父母离异，母亲欠下一屁股的赌债，蔡少芬为刘銮雄堕胎就源于此。当年蔡少芬才18岁，就被刘銮雄包养，蔡少芬为刘銮雄堕胎也只是为了还清母亲的赌债，还好如今已嫁得好夫婿。

在蔡少芬年纪很小的时候父母便离异，母亲嗜赌如命，为了逃避债务不断迁居，为了替家人还债，蔡少芬为刘銮雄堕胎，蔡少芬拍戏后一直节衣缩食，把钱都留给他们。蔡少芬觉得路越走越苦，于是想到了自杀。但一次偶然的机会，蔡少芬得知港姐选美的消息，拿了奖项就可以有奖金。

15岁时，蔡少芬便参选一个模特大赛，后果无奖而归，17岁时又参选港姐，蔡少芬拿走季军，却还是被媒体热捧为最年老的港姐。那时蔡少芬还有些BABYFAT，化装也浓，看上去倒不止17岁。不过让蔡少芬声名大震的却是18岁在丽晶酒店(现洲际酒店)的百万生日宴，在丽晶酒店摆了50桌，耗资百万元，为他庆生的正是商界名流刘銮雄，与蔡少芬年龄相差二十岁，从此便传出蔡少芬为刘銮雄堕胎的绯闻。

交往6年，刘銮雄送给蔡少芬的豪宅礼物据说包括黄埔花园两单位、比弗利山连天台单位以及巴黎某单位，价值超过3000万港币。最纠葛的是，蔡少芬母亲和阿姨多年来欠下巨额赌债，令蔡少芬和刘銮雄结束交往后许多年里蔡少芬为刘銮雄堕胎，仍旧不得不依赖他还债，她二姨甚至开记者会曝料刘銮雄曾给蔡少芬1000万港币。

蔡少芬从不承认与刘銮雄的恋爱关系，而坊间也数度传言蔡少芬是为还赌债被才刘銮雄包养。但是蔡少芬的一个亲戚爆料，蔡少芬是自愿跟刘銮雄好。蔡少芬事后召开发布会，向网友哭诉为母亲偿还了过亿赌债。还传出蔡少芬曾为他堕过胎。

据知情人士爆料称，蔡少芬为了尽快还清赌债，甘愿做刘銮雄包养的小情人，那一年，蔡少芬才18岁。蔡少芬虽然不情愿，但为了生活还是屈从了。那时候开始蔡少芬便在娱乐圈开始打拼。有网友表示，人人背后都有一段心酸的历史，生活所迫也是没办法的。

但是蔡少芬并没在这段关系中感受到爱的力量，她曾想到过自杀，还说过曾经以为世上没有爱。现在的她是虔诚教徒，2008年1月嫁给内地男演员张晋。蔡少芬与老公张晋如今育有两个女儿，一家四口其乐融融，不过据蔡少芬自曝，早在诞下大女儿张楚儿之前，她曾经历流产之痛，第一胎胎儿在两三个月后已没有心跳。