毛南族有潭、覃、卢、蒙、韦、袁等姓氏，其中以潭姓的人数量较多，约占毛南族的70%以上，分布的地区广，其次是覃、卢、蒙姓。历史上，他们是同姓聚族而居，在一个村寨之中异姓杂居的现象很少，解放后异姓杂居以至同壮族人民杂居的才逐渐增多。
据许多史籍记载，毛南族及壮，侗、仫佬、水等壮侗语族诸民族的地区，在汉代以前是“百越”民族中的“骆越人”居住的地方。南北朝以后，又有“僚人”有这一带居住，称为“蛮僚”，唐代以前，这一带的少数民族由于没有上封建王朝的“户籍”，被统称为“生蛮”。
唐代以后，封建王朝诏用这里的部落酋长，设置了羁縻州县，进行羁縻统治，把这里的少数民族以地名而命名为“抚水蛮”、“安化蛮”、“茅滩蛮”、“南丹蛮”“等，泛称“峒蛮”。明、清之际，这一带少数民族有壮、瑶、苗、水、俍、伶、僚等很多名称，有思恩县12其相邻的天河建县境内，就有伶、僚、仫佬、水、佯、俍、侗等。
而外来的汉人还极少，说明了这些少数民族应是当地的土着居民，是“骆越人”，及其后来的“抚水蛮“，“安化蛮”“茅滩蛮”，“南丹蛮”等“蛮僚”的后裔。今毛南族和壮、侗、仫佬、水等族可属壮侗语族，有语言和生活习俗上也有许多共同的特点，证明他们有同源的关系。如毛南族居住的“干拦”与古代“蛮僚”楼居的形成相同。
在清代《庆运府志》中列举的僚语的12个词汇中，竟有6个词汇与毛南族的音、义完全相同。这不是一种偶然的现象，而是毛南族源了”蛮僚“的有力证明。