高山族有自己的语言，属南岛语系印度尼西亚语族，大体可分为秦淮、曹、排湾三种语群。没有本民族文字。
其先民可追溯到距今2－3万年前的旧石器时代的“在镇人”。对于高山族的来源，说法很多，但比较一致的说法是，主要来自内地沿海一带古越族，与来自琉球群岛和菲律宾群岛的居民，相互融合发展而成。
至今高山族人仍然保留着一些本民族的特色，如黥面、凿齿、穿耳等习俗。高山族人主要从事农业、林业和狩猎，其中雅美人主要从事捕鱼。