柯尔克孜族的先民，史称“鬲昆”、“坚昆”、“契骨”、“纥骨”、“黠戛斯”、“辖戛斯”、“吉利吉思”、“乞儿吉思”、“布鲁特”、“纥里迄斯”、“纥迄斯”、“黠戛司”等。2000多年前，柯尔克孜族的先民就居住在叶尼塞河上游流域，后来逐渐向西南迁至天山地区，并与当地的突厥、蒙古部落相融合。
汉初，曾役属于匈奴，汉征服匈奴后，大部分摆脱了匈奴统治。一部分随匈奴西迁至今新疆天山和中亚一带。隋唐时受突厥统治。唐贞观二十二年（648），黠夏斯首领亲赴唐朝要求归属。唐朝以其地设坚昆都督府，封黠夏斯瘪领左屯大将军坚昆都督。后来黠戛斯灭了回鹘，建立黠戛斯汗国，与唐关系甚密。时黠戛斯拥众数十万，胜兵八万，多次助唐征突厥和李克用之乱。
13世纪接受元朝统治，在叶尼塞河上游曾设万户府。为改变当地面貌。元从内地和西域把大量工匠和农民迁至谦州（今乌鲁克木河南鄂依玛克处之古城），进行陶冶、冶炼、织造、制造舟楫和渔具等手工业生产；鼓励军屯、民屯，备给耕牛、农具、衣服，发展农业生产，并建库廪，设粮仓，开盐矿，辟驿道，加强了各族之间的经济、文化交流，促进吉利吉思地区农业、手工业生产的发展。同时，也有部分吉利吉思人被迁至今东北松花江流域和北京、山东等地，后融合于当地民族。
元亡以后，中央王朝的力量到不了西北塞外，柯尔克孜族的处境开始恶化。被迫迁至帕米尔高原和天山荒僻的深山里。后来，一部分柯尔克孜族人民为摆脱准噶尔贵族的统治，又迁至中亚塔什干、费尔干纳及其附近；一部分迁到帕米尔高原、兴都库什山和喀喇昆仑山一带及其附近地区。原本完整的柯尔克孜族被分开来，人口也激剧下降。