族称有自称和他称两种。畲族自称为“山哈”，“哈”畲语为客人，“山哈”是指山里客人的意思。畲族原分布在闽、粤、赣三省结合部。元、明、清时期，从原住地陆续迁徙到闽东、浙南、赣东等地山区半山区。先来为主，后来为客，先来的汉人就把这些后来的畲民当为客人。畲族自称“山哈”，是与他们的居住环境、迁徙历史有关。
畲族、輋民是汉族对“山哈”的他称。“畲”字来历甚古。在《诗》、《易》等经书中就已出现。“畲”字读音有二，读ｙú(余)，指刚开垦的田；读ｓｈē(奢)，意为刀耕火种。“畲”字衍化为族称，始于南宋时期。据刘克庄《漳州谕畲》载：“民不悦(役)，畲田不税，其来久矣”，“畲，刀耕火耘”。“畲”作为族称，是由于当时畲民到处开荒种?的游耕经济生活特点而被命名的。因此《龙泉县志》说：“(民)以畲名，其善田者也”。
“輋民”名称也出现在十三世纪，文天祥《知潮州寺丞东岩先生洪公行状》说：“潮与漳、汀接壤，盐寇輋民群聚”。“輋”音ｓｈē，是广东汉人俗字。“輋”字作何解？顾炎武《天下郡国利病书》云：“粤人以山林中结竹木障覆居息为輋”。显然，以“輋”字作族称是侧重于居住形式，指在山里搭棚而居的人群。“輋”的含义虽与“畲”有差异，但非指两个不同的民族，也不是指同一民族的两个不同经济发展阶段，而是前者指福建畲族，后者指广东、江西畲族，这是由于汉族文人对闽、粤、赣畲族经济生活观察的侧重点不同而出现的异称。
宋末元初，各地畲民组织义军，加入抗元斗争的行列，《元史》中又出现“畲军”、“畲丁”等名称。明、清时期，闽、浙各地方志以“畲民”、“畲人”和“畲客”等称畲族的非常普遍，粤、赣各地方志以“輋户”、“輋蛮”和“山輋”等称畲族的也比比皆是。清代以降，由于许多人不了解畲民的民族成份，还有以“苗族”、瑶族”、“瑶僮”和“苗民”等称呼畲族的。
清代福建罗源县畲族。(引自金延标绘制于乾隆年间的《皇清职贡图》)当时罗源县畲族有“蓝、雷二姓，相为婚姻”。“其习俗诚朴”，“无酋长统辖，多在荒僻山巅结茅为屋”。“男女相助力作，采薪捕鱼以供食用。男椎髻短衣，荷笠携锄。妇挽髻蒙以花布，间有戴小冠者，贯穿石如数珠垂两鬓，间围裙着履，其服色多以青蓝布”。
总之，史书对畲族的族称记载相当混乱，称呼也因时因地而异。新中国建立后，政府对畲族的族称问题十分重视。1956年由国务院正式公布确认，畲族是一个具有自己特点的单一的少数民族。从此，“畲族”(写作“畲”，音ｓｈē)成为法定的族称。
畲族族源歧见很多，但概括起来有外来说和土着说两种。外来说者认为畲族源于汉晋时代的“长沙武陵蛮”。持这种观点的主要论据是“武陵蛮”和畲族有共同的盘瓠图腾信奉。
土着说者认为畲族源于周代的“闽”人。“闽”是福建的土着，福建最早的主人，其遗裔就是今天的畲族。“闽”、“畲”之间存在着一定的渊源关系。此说的主要论据是“闽”、“畲”之间有着密切的内涵联系，即“闽”——“蛮”——“僚”——“畲”一脉相承。畲族，福建土着民族。
此外，畲族族源还有“越族后裔说”、“东夷后裔说”、“河南夷的一支”和“南蛮族的一支”等多种说法。总之，众说纷云的畲族族源反映了畲族在其历史曲折发展和民族形成过程中，同蛮、越、闽、夷以及汉等各族群体彼此互动、混化、交融的关系。