南宋时期朱辅的《溪蛮丛笑》说：“仡佬以鬼禁，所居不着地。虽酋长之富，屋宇之多，亦架木排比，如省民羊楼”。其俗承袭了古代人们“巢居岩谷，因险凭高”，“依树为层巢而居，各曰干栏”的传统。如今，在黔东北一带的农村中，仍然承袭所居不着地之俗。所住的木制瓦房（俗称正房）的右后间，木板铺底，离地约一尺，俗称“地楼屋”，此为男女主人所居住的地方。正房之前的厢房、飞檐翘角，扶手栏杆，俗称“楼子”。
其楼子上有二个或三个房间，为青年子女们所居住，（楼下圈养牲畜），其禁“鬼”之俗，包涵着“敬鬼神而远之”的意思。无论居住干栏、木楼、竹楼，都可以防避野兽攻击、蛇虫叮咬和避免潮湿。所以，其“鬼禁”当是敬鬼的意思。
其“鬼”不是一般所谓的鬼魂、鬼怪，而指的是大地、母亲。这里在古代曾经称之为“鬼方”，如《贵州古代史？殷周时期的鬼方》说：“今贵州是鬼方的主要部分”。
反映在石阡县的地名中，甘溪乡的“晒溪”本名“鬼塞溪”（见《石阡府志》）；中坝镇的“高魁屯”本名“剿（角）鬼屯”；大沙坝乡毛家寨一带本名“鬼野屯”（见《镇远府志》）；石固乡洋溪河畔有一山村，至今仍名鬼广，那里奇峰怪石，极为壮观。