除了新疆以外，湖南桃源县也有一部分世代居住的维吾尔人。湖南维吾尔族的祖先可以追溯到高昌回纥的都督哈勒。13世纪初，他追随高昌回纥王向成吉思汗投诚，被元太祖封为“折冲将军”，统帅一支维吾尔人军队进入中原。
元灭明兴后，朱元璋启用哈勒的后裔哈勒·八十，继任燕京都总兵，以抗御元朝残余势力对明朝边境的侵扰。1371年，明太祖朱元璋因其翦敌有功，赐姓“翦”，并更“八十”为“八士”。
后来哈勒·八士任荆襄都督府都督，镇守湖广辰（州）常（州）一带。哈勒死后奉旨敕葬常德，这就是西域维吾尔人定居桃源的开始。此后，哈勒的后代或为官，或经商务农，长期定居于常德地区桃源县，一直延续至今。