高山族的聚落多在背山面河之处，阿美人、卑南人居于台东纵谷平地，雅美则居于兰屿环岛海边。过去高山族住房大部分为地上住屋，也有局部凹入地下。
泰雅人的住屋一般都建在山腰地带，住屋正面朝向低处。住屋一种是全部建在地上，另一种是屋内凹入地下，屋檐高不过一米半的半穴居式建筑。赛夏人的住屋一般建在较平坦的山地，无一定的方向。布农人的住屋建在险峻的山腰地带，门朝向低处，为半地下室住屋。曹人的住屋多建在山腰平坦地方，门无定向。
排湾人的住屋建在山腰斜坡上，面朝低处。房屋一般都建在地面上，也有屋内低挖半米左右的。有木屋和石屋两种类型：木屋以方木为柱，木板为墙壁，用木板或茅草盖顶，属于大型的木结构房屋。这种木屋在房梁、房柱、房檐、房门、房壁上都有许多人形或蛇形的雕刻，具有独特的风格；石屋则以圆木或立石板为柱，片石为墙壁，在山字形的屋顶上垒小块板石为瓦，形似龟壳，也有用大块板石盖顶的。鲁凯人倚坡建屋，先将基地铲平，成“簸箕形”，为半地下式住屋。
阿美人的住屋建在平地上，无一定朝向。卑南人的居室为圆形，是用竹篱环围起来的。雅美人的住房大都建在沿海山麓坡地上，面海而居。建筑材料多取自于海边卵石，用卵石垒成地基和墙壁，外部蔽以茅草。房屋地基挖得很深，屋内凹下二三米，房檐离地面仅一米左右，这是一种典型的半地下式房屋，可抗台风的袭击。