关于瑶族的来源，说法不一，或认为源于“山越”，或以为源于“五溪蛮”，或认为瑶族来源是多元的。但大多数人认为瑶族与古代的“荆蛮”、“长沙武陵蛮”等在族源上有渊源关系。
秦始皇建立统一的多民族的中央集权制国家后，采取迁“谪戍”民于边疆民族地区的政策，从中原派大批汉人进入长沙、武陵蛮地区，带来了先进生产工具和技术，促进了这些地区生产的发展。西汉时，武陵蛮地区的蛮人按丁计税，到了后汉仍对蛮族征收“徭税”。永和元年（136），由于“徭税”过处重，包括瑶族先民在内的武陵蛮纷纷起义。
南北朝时，瑶族先民已分布到“东连寿春（今安徽寿县），西通上洛（今陕西商县一带），北接汝颍（今河南东部及安徽西北部）”的广大地区。这一时期瑶汉经济文化交往密切。唐代瑶族主要分布在湖南及广东、广西境内，史称莫徭蛮。莫徭主要从事农业生产。宋王朝对瑶族地区采取“以夷制夷”的政策加以控制，部分瑶族地区在土官或土酋的统治下，加速了封建化的进程。在瑶族的历史上，有一次重要的迁徙。元朝时期，官员派人前来征税，当地瑶民热情款待，以至官员忘了回衙，衙门误以为瑶民杀了前来征税的官员，故派兵前来剿杀，瑶民被迫迁徙分转各地，临前将牛角分成十二节由十二姓掌管，相约千年之后再回故地。
元、明、清时期，瑶族的分布已遍及广西、广东以及湖南西南部和云南、贵州的部分山区，社会经济发展极不平衡，发展较快的地区已接近汉族地区的水平，而偏远地区的瑶族“随溪谷群处”，甚至不从事农耕，以猎山兽为生者，一部分尚处于原始社会发展阶段。由于封建王朝剥削、征剿屠杀，明末清初，部分瑶族逃至越、老、泰等国边境。至20世纪70年代，在越、老、泰等国的部分瑶族分别迁徙到美、法、加拿大等国居住。
历史上，瑶族和苗族有密切的亲属关系，同源于秦汉时的“武陵蛮”部落。大约在隋代，居于现在湖南、湖北一带的瑶族和苗族已分化成两个族群。云南的瑶族是明、清以后分别从两广和贵州迁入文山境内的。以后又分迁到红河流域和墨江、勐腊等地。云南的不少瑶族不仅会说本民族的语言，还兼操汉语、壮语和苗语，是有其历史原因的。