怒族的宅居有两种，一种是干栏式竹楼，另一种为垛木平顶石板房，其共同特点都是因地制宜、就地取材；而又由于各支系生活习俗不同，房屋形式各有千秋。
怒苏、阿怒两个支系的住房均为干栏式建筑的竹楼，俗称“千脚落地”。修建时依地势树若干木柱，用竹蔑固定地板、墙面和房顶。地板和墙面一般用蔑笆为材料，而楼梯和门用厚木板制成。房顶一般为草顶，较好的为杉木薄板顶。楼下关牲畜，楼上住人。布局一般为三间，中间为嵌火塘的厨房兼客厅及老人的卧室；两侧为子女、青年夫妇卧室或储藏室，院落以篱笆相隔。宅园附近为菜地。
阿龙支系的住房为垛木平顶房，以榫卯结构的木屋架支撑，以直径三四寸的圆木两头加卡榫相叠为墙，开有小窗，用当地所产的薄石板盖顶，内部结构与竹楼相同。
若柔支系住房与兰坪白族大体相同，瓦顶、屋架梁、土坯墙。
现在，各地怒族的宅居均有所改进，许多村寨都已做到人畜分住清洁卫生。一些怒族农民已有建盖瓦房的。而传统的竹楼和垛木平顶房上也开始出现了玻璃窗，采光充足。