关于茶山瑶的族源，学术界有不同看法，但大多数学者认为，茶山瑶应是百越民族的后裔，其称谓由其居住地名“茶山”而来。
据茶山瑶民间传说、族谱和有关学者考证，茶山瑶大约在明朝初年，分别从广东和湖南进入广西大瑶山居住。从广东来的苏、莫、钟、陶、兰、龚等粤（越）人后裔进入广西后先在梧州）藤县等地居住，后被当地土司覃千户赶入平南，再转入大瑶人，分散于古卜、六寨山，金秀、白沙、六拉、昔地、田地、平林、六竹、罗孟、岭祖、巴勒、上下卜泉等地居住。
从湖南来的苏、莫、陶等姓氏的后裔，进入广西后，先后在南宁、百色、浔州、贵县、象州等地居住，后才进入大瑶山的六段、六定、寨保、长二、长滩、土献、长峒、滴水、花阳、道江、六拉、金田等地居住。
茶山瑶主要集中在广西大瑶山腹地，山内还有盘瑶、山子瑶、花蓝瑶、坳瑶等来自不同地区的瑶族支系，这些来自不同地区的氏族、部族或族群进入大瑶山后长期共同居住在一起，有着大致相同的社会经济生活环境，经过长期的文化接触，打破了原有的族群壁垒，相互产生了民族认同感，为民族融合提供了基础，由于大瑶山特殊的地理环境，山外对山内的少数民族始终抱有歧视态度，为了共同面对山外相同的民族压迫和民族剥削，山内五大族群为了生存，被迫自觉或不自觉地团结一致，形成一股自卫力量，反对山外压迫势力。
这种凝聚力使他们聚集在一起，组成一个在共同区域内生存发展的新的共同体，共同接受山外汉族给予他们的他称―瑶族。形成了以瑶族主体文化为代表的区域民俗文化。但又因为他们相互在文化上还存在差异，人们又将他们称为不同的瑶族族群。茶山瑶就是在这种情况下，从明初进入大瑶山后，逐渐由越人后裔演变为今天的茶山瑶…
茶山瑶族语言属壮侗语族侗水语支；茶山瑶最具支系文化特色的就是石牌律。它是金秀地区茶山瑶、山子瑶、花蓝瑶、坳瑶等族群民间特有的社会法律，是经过群众议事会商定的维护生产和社会秩序的条文，是镌刻在石板上或书写在木板上、纸上的成文习惯法。
传说从明洪武八年五屯千户所千户覃福统治起，大瑶山就开始有了石牌律。一九三五年瑶学研究专家费孝通与妻子在大瑶山六巷乡调查时，发现一块石牌律，是清道光十八年所立。它是研究茶山瑶支系社会发展的最好例证。
茶山瑶居住在广西金秀大瑶山，主要种植水稻和旱地作物，房屋亦为干栏式建筑。其民间信仰深受道教影响较深，崇拜张天师、玉帝、“三清”、“三元”。和大瑶山内其他瑶族支系在明、清时共同形成的石碑文化对后世影响极大。