肃南县裕固族是个具有悠久历史和古老文化的民族。裕固族人自称其族名为“尧乎尔”，其民族发展经历了一个漫长的变迁过程，族名也经历过回纥、回鹘、黄头回纥、撒里畏吾、黄番等的演变。
裕固族的来源，较早溯源于公元7世纪居住在蒙古高原及鄂尔浑河流域一带的古突厥语民族的回纥人。据史料记载，公元8世纪30年代末，在蒙古高原的突厥汗国发生宫廷内讧，回纥等部联合攻破突厥汗国。公元744年，回纥首领骨力裴罗在鄂尔浑河流域建立回纥汗国，原先处于突厥汗国统治下的各部落，这时转而臣属于回纥汗国。回纥汗国各部落游牧于东起兴安岭，西至阿尔泰山之间，盛时曾东抵室韦，西至阿尔泰山，北到贝加尔湖以南，南抵阴山、凉州、甘州、伊州、北庭以北一线。
回纥政权建立后，与中原唐王朝保持着密切关系，唐王朝册封回纥首领骨力裴罗为“怀仁可汗”、“奉义王”。以后历代可汗都受唐王的册封。唐王先后把三个公主嫁给回纥可汗，以示友好。唐玄宗天宝十四年(公元755年)，中原发生“安史之乱”，应唐王朝之邀，回纥可汗曾于公元751年和762年两次派兵助唐平定叛乱，收复长安、洛阳等地。贞元四年(公元788年)，回纥可汗向唐请求改族名为“回鹘”，取其民族之活动如鹘之意。
公元9世纪30年代末，回鹘汗国统治阶级内部发生内讧，加之连年风雪灾害瘟疫蔓延，严重破坏了回鹘汗国的社会经济，加速了回鹘政权的崩溃。公元840年，回鹘将军句录莫贺引黠戛斯部10万铁骑入侵，杀了回鹘可汗，致使回鹘政权灭亡。回鹘政权崩溃后，各部落分崩离析，四处逃散。其中十三部拥乌介特勤为可汗。南下归附唐朝：另有十五部在庞特勤率领下向西南迁徙，一支投奔葛逻禄，一支奔安西，占领北庭、吐鲁番、焉耆等：另一支奔河西走廊，史称河西回鹘。投奔河西走廊的这一支回鹘人，便是今天裕固族的先民。他们分布在东起秦州、西至瓜(州)、沙(州)，包括甘、凉、肃清州及贺兰山等地，其人数有二三十万。从此，他们就与其他几支回鹘人走上了各自不同的发展道路。
初到河西地区的回鹘人，最初曾依附过占据河西的吐蕃。后来张义潮率瓜、沙之众收复河西诸地，回鹘随之归附唐朝。公元872年归义军节度使张义潮死后不久，河西回鹘攻占了甘州(今张掖)，并建立政权，遂移可汗牙帐于甘州，故河西回鹘又称甘州回鹘。甘州回鹘政权存在的时间，若是从公元872年前后算起，到公元1028年甘州被党项族首领李元吴占据并入西夏政权止，长达一个半世纪左右。
随着甘州回鹘政权的崩溃，甘州回鹘各部再次离散。掘记载，投奔清唐(今西宁地区)吐蕃首领咯厮罗的一支有数万人。另一部分则入北宋境内安居秦陵之间。还有一部分甘州回鹘部落退处瓜、沙州以南地区过着游牧生活。居住在河西地区以西的回鹘人，史称西州回鹘。西州回鹘分布在今青海柴达木盆地以北及新疆南部。据文献记载，到11世纪中叶以后，回鹘部族逐渐壮大，分布在沙州以南、柴达木盆地以北，西到罗布泊、若羌一带的广阔土地上，同当时于阗国的东境城市约昌城相连。宋史把这些散居于甘肃、青海、新疆的回鹘人，统称之为“黄头回纥”，其实就是后来的撒里畏吾人。“撒里畏吾”这个称呼，大约出现于公元1078年到1085年之间，是本民族的自称，在突厥语中，“撒里”是黄的意思，“畏吾”则是回鹘的转音。因而汉文史籍将其译为“黄头回纥”，甘州回鹘也包括在“撒里畏吾”之内。
公元1226年，成吉思汗亲征西夏，命蒙古大将速不台进入河西走廊西部，攻下撤里畏吾特勤赤闵等部。从此，他们便被纳入蒙古帝国--亦即随后建立的元朝统治之下，撒里畏吾人的住地仍在今甘肃的西部、柴达木盆地以北及以西地区，与百年前的“黄头回纥”住地的位置大体相同。撒里畏吾就是裕固族的直接先民。
明朝初年，明王朝为了加强对西北边境少数民族的控制，在撒里畏吞地区先后置安定卫、阿端卫、曲先卫等三卫，地在今柴达木盆地以北、敦煌以南，西到罗布泊、若羌一带。明初，撒里畏吾人仍过着游牧生活。“居无城郭，以毡帐为庐舍，产多驼、马、牛、羊”。明王朝将其归于“纳马之族”。
从13世纪20年代，速不台征服撒里畏吾地区起，一部分蒙古部落进驻撒里畏吾地区，到16世纪初，明朝设在撒里畏吾地区的关西诸卫东迁入关，这一时期是裕固族形成的最重要时期。在这段长达二三百年的漫长岁月里，操古突厥语的一部分撒里畏吾人同操蒙古语的蒙古人相互融合。但支因游牧部落的分散性和各民族具有的独立性，出现了既融合、又保持各自特点的状况，形成了一个具有自己古老民族传统的民族，这个民族自称为“尧乎尔，”就是现在的裕固族。同时，由于上述原因也形成了裕固族使用两种语言的状况，一部分人使用属于蒙古语族的东部裕固语，一部分人使用属于突厥语族的西部裕固语。
从15世纪中叶到16世纪，由于各卫统治者之间相互攻杀，加上吐鲁番封建贵族察合台后王等不断侵袭明朝关外诸卫，至歪思汗？赛义德时，进而经常攻击抢掠撤里畏吾地区，原河西走廊各族人民深受其苦，明王朝亦疲于应付，因此关外诸卫相继崩溃，纷纷要求内迁。游牧于甘、新、青交接处的撒里畏吾人，即关外诸卫的群众向着肃州、甘州塞内和肃州、甘州南山迁徙，这就是历史上有名的东迁入关。
撒里畏吾人的东迁入关，可说是裕固族历史上最重大的事件，至今尚在裕固族人民的传说中广为流传。有一个民间传说是这样说的：“在很久很久以前，西至哈至地方遭受了很大的风灾。那狂暴的大风把附近的沙山卷起来，将人们的房屋和帐篷都掩盖了，而且卷走了无数牛羊。最使居民们难过的是，连他们用黄金建筑的经堂，也被吞没在了沙山之下!人们再也无法生活下去了，便商定举族东迁。……”又说：“我们原来信仰佛教，别的宗教压迫得我们站不住脚，开始东迁。”同时，在裕固族中还广泛流传着一首民歌，歌词是这样的：听老辈人说唱才知道了，西至哈至是我们的故乡。许多年前那里灾害降临，狂风卷走牲畜，沙山吞没帐房。河道干涸，草原荒芜。寻不见寺院，找不到黄金筑成的经堂我们笃信佛教的祖先，抵御异教徒的侵略，人人挺起胸膛。敌人把我们团团围住，男女老少宁死不降。部落头人商量决定，趁天黑突围，奔向太阳升起的地方。走过了千佛洞、万佛峡。酒泉城下扎营帐。沿着山梁走上高高的祁连山，望见了辽阔的八字墩萆草滩。草绿花香的八字墩草原，变成了裕固族可爱的家乡。
来自西至哈至的歌世代传唱，我们民族的历史永记心上……不论是民歌。还是民间传说，都提到裕固族人是从“西至哈至”东迁来的，这不会是毫无根据的说法。但是“西至哈至”一词不见于史书记载，究竟何在？尚未确切考证。有的说是于阗、喀什，又有说是西州、火州(和州)的对音，即现在的吐鲁番一带。不过综观文献记载和民间传说，撒里畏吾人是从关外诸卫东迁入关的，这却毫无疑问，而民间传说及民歌中所提到的自然环境和干佛洞、万佛峡、酒泉等名，则更确切无疑，连行进顺序也无差错，这就有力地证明了裕固族的先祖撒里畏吾人由西迁来的可信性。
1949年9月，随着全国大片国土的解放，中国人民解放军第一野战军挺进西北，以雷霆万钧之势，一举解放了祖国的大西北。祁连山区的裕固族人民欢欣鼓舞地迎接解放军。从此，裕固族人民从许多世纪以来的封建反动统治和民族压迫中得到解放和新生，进入了民族平等、团结、互助、共同发展的社会主义新时代。在党的民族政策的光辉照耀下，1953年7月肃南裕固族自治区(县级)筹委会成立，根据裕固人民的意愿，废掉“黄番”蔑称，取自称“尧乎尔”的近似音，并兼取富裕巩固之意，定族名为裕固族。
在文化方面，回纥汗国时代，回纥人使用古突厥文，后来他们创造了以粟特字母为基础的回纥文字。至11世纪时，甘州回鹘仍使用回鹘文。本世纪30年代发现的《大元肃州路也可达鲁花赤世袭之碑》说明，元朝末年居住在肃州的回鹘人仍使用着回鹘文，明代文献《高昌馆课》中，保存了当时西域各地给明朝廷的公文，都附有回鹘语文译文。