蔡少芬童年时代父母就已经离异,父亲是做交通行业的,母亲无固定工作,蔡少芬与大哥跟着母亲生活。蔡少芬天生丽质,或许是环境迫人,15岁时她就参加TVB举办的超级模特大赛,17岁时更被母亲亲手送进香港小姐选美。明眸皓齿、白皙幼嫩,站在领奖台上,眼神似小鹿一般张惶,她不知道前路是什么,但却已没有退路,只得硬着头皮强笑起来往前冲。
进娱乐圈替母还债蔡母曾经嗜赌,并欠下巨额赌债,蔡少芬出道后,曾辛苦工作为母还债。入行10年耗尽积蓄及物业代母还债。蔡少芬母亲一向嗜赌如命,先后花了8000万替蔡母还债,2000年蔡少芬因自感再没能力为母亲偿还赌债,而跟母亲断绝关系。2003年之后,母女重归于好,蔡母成功戒赌,关系才修好,后来受洗成为基督教徒。
然而蔡母被发现不知悔改。有报道指蔡母黄素梅跟女儿信基督教后,已改掉嗜赌恶习。但在蔡少芬怀孕期间,港媒就在澳门威尼斯人直击蔡母在澳门威尼斯人与友人在赌场搏杀,想不到就算蔡少芬的外婆病逝,蔡少芬的母亲依然要过大海过手瘾,相信蔡少芬获悉母亲如此死性不改,一定深感痛心。