裕固族的祖先，可追溯至古代的回纥。回纥是古代突厥语“团结”“联合”的意思，是他们的自称。公元745年，建立了回纥汗国，汗国的疆域包括贝加尔湖以南，阴山以北，兴安岭以西和阿尔泰山以东的蒙古草原地区。在汗国存在的近百年中，草原上各游牧部落以回纥部为核心，逐渐融合团聚成为统一的回纥族。从那以后，回纥已经成为一个包括草原各游牧部落的古代民族的名称了。回纥汗国的历代可汗都接受唐朝的册封，成为唐朝的属国。
公元84O年，汗国在天灾和外敌的夹击下崩溃。部众分几支向西、向南迁徙，其中一支沿弱水南下到达了河西走廊的甘州（今张掖）一带，被称为甘州回给，也就是日后裕固人的祖先。这支回纥人到895年占领甘州城，建立了独立政权。公元1208年，甘州回纥政权在西夏的进攻下崩溃，各部四散。其中一支退处敦煌以南，柴达木盆地以北，西到罗布泊、若羌一带，自称“撒里畏兀尔”“撒里”“黄”的意思，因此汉文史籍又称其为“黄头回纥”。
公元1226年，撒里畏兀尔人被蒙古军队征服。公元1368年，元朝灭亡，明朝在撒里畏吾尔地区设置安定、阿端、曲充三卫。15世纪初，塔里木盆地的叶尔羌汗国向东扩张，以武力推行伊斯兰教，信仰藏传佛教的撒里畏兀尔人被迫东迁，当时关外一些蒙古部落也与他们一起东迁到了祁连山麓，由于长期与当地汉藏等民族共同生活而逐渐融合为一个新的人们共同体——即今日的裕固族。