瑶族居住的最大特点，就是靠山，“大分散、小聚居”。过山瑶尤为分散，3、5户1村，10余户1寨，有的“吃尽一山而他迁”，没有完全定居。排瑶定居历史较长、较集中，上百户甚至上千户人家共住一寨，鳞次栉比，房屋建筑一家一户成行排列在山坡上，故人称其为“排瑶”。
住房以平房为主。必背、三水、金坑等地喜住楼房，楼底堆放木柴、杂物或饲猪、牛。排瑶的住房结构大都是两室一厅或一室一厅，左右卧室中间厅堂和后厨房。厅堂中挖一四方浅坑做“火炉塘”，架上“三脚猫”（一种三脚炉架）煮食，冬天则在火炉旁取暖。现在排瑶的房屋大都改建为砖瓦房。过山瑶的住房比较整洁，有卧室，正厅厨房和洗澡间。
建国后，瑶族的居住条件大大改观。迁徙不定的过山瑶逐步定居下来。连山过山瑶的住房，已有了四次大变革：第一次居住的是竹木结构房屋，上盖茅草，下围竹篱笆或小木棍；第二次居住的是木板结构房，即上盖杉皮，下围木板；第三次居住的是泥砖结构房屋，即上盖青瓦，下砌砖；第四次也就是现在居住的是钢筋水泥结构砌火砖的二、三层楼房屋。
在石灰岩地区，由政府帮助瑶族群众搬迁到有水田的平地，筑起了移民新村，住房为钢筋水泥结构，家家户户安上了电灯和自来水。许多瑶族家庭还添置了不少家具、生活用品，电视机、收录机等已进入瑶家。