哈萨克族人民公元前就活跃于我国西北部的阿尔泰山、天山及伊犁河谷、伊赛克湖一带，是“丝绸之路”古老的开发者和经营者之一。与中国古代曾经统治过今伊犁河谷及伊塞克湖四周地带的古代民族乌孙（西汉时期，公元前2世纪～2世纪）、突厥（6世纪中叶）、葛逻禄、回鹘（10世纪～12世纪）、哈刺契丹（12世纪）、克烈、乃蛮、钦察（12世纪末～13世纪）等有渊源关系。其族源主要由古代的乌孙、康居、奄察人和原在中亚草原的塞种、大月氏，及以后进入这个地区的匈奴、鲜卑、柔然、突厥、铁勒、契丹、蒙古（其主要族源有塞种、月氏、乌孙、匈奴、康居、奄蔡、克烈、克普恰克等塞种人为哈萨克族的主要族源之一。）
公元前60年，汉在西域设置“都护府”，主要是由于与哈萨克族源有关的乌孙结盟，共同击败了匈奴贵族，才使巴尔喀什湖以东、以南，直至帕米尔高原的广大土地并入中国版图。据汉文史迹记载，塞种人叫“允戎”，世居敦煌，后被月氏排挤而西迁，游牧于天山南北，包括阿尔泰山到巴尔喀什湖以东和以南的广大地区；乌孙历来被认为是组成哈萨克族的主体部落，它于公元前就游牧于我国河西走廊一带，后占有了伊犁河流域原塞种人的土地，和当地的塞种、大月氏融合，形成了乌孙国；在哈萨克民族成分中有不少匈奴人的后裔，今哈萨克族居住的大部分地区都曾在匈奴的控制之下；康居是两千多年前的古国，生活在巴尔喀什湖以西至咸海之间以及锡尔河以北的广大地区，康居部落的称谓作为哈萨克族大玉兹所属的一个部落而保留到今天；奄蔡，又叫“阿兰”，是一个以游牧、兼营农业的部族，是构成哈萨克族小玉兹的主体部落；克烈是一个人口众多、势力强大的古老的突厥部落，后由于成吉思汗夺取了其大部分领地，迫使其一部分西迁至阿尔泰山以西的哈萨克草原上。在现代哈萨克族中间仍有一些部落保留着上述古代的名称。国外学者多认为“哈萨克”名称最早出现于15世纪初期。据民间有关白鹅的传说，认为哈萨克为“白鹅’’之意。也有人认为，哈萨克是中国古代“曷萨”、“阿萨”或“可萨”的异名。还有人把哈萨克解释为“战士”、“自由的人”、“避难者”、“脱离者”。
13世纪上半叶，成吉思汗把从亚洲到欧洲凡是蒙古人马蹄所到之处，分给了自己的四个儿子。长子术赤分得钦察草原，建立金帐汗国。不久，由于领户分封，造成了新的割据局面。斡鲁朵分得了今哈萨克斯坦东部地区，建立“白帐汗国”，并于14世纪一度强大，统一了整个金帐汗国。
15世纪20年代，在金帐汗国东部出现了乌孜别克汗国，以锡尔河下游为中心，北至托波尔河，东北至额尔齐斯河，土地辽阔，人口众多，汗王阿布尔海里对外大肆推行侵略扩张政策，对内凶狠残暴，进行野蛮统治，从而激起了统治集团内部矛盾。该汗国白帐汗国最后一个可汗巴拉克汗的儿子克烈和加尼别克（吉来和扎尼别克）苏丹（苏尔坦）对阿布尔海里汗王的不满越来越强烈，甚至达到公开对抗的程度。1456年（明景泰七年），克烈和加尼别克带着自己的部落向东逃入亦力把里统属地区，亦力把里主把楚河、塔拉斯河流域西七河区让给他们游牧，以增强自己的实力。这一部分脱离乌孜别克汗国的人被称为哈萨克人，意为“避难者’’或“脱离者”。哈萨克人建立了哈萨克汗国，过上了和平安宁的生活，从而吸引了周邻大量游牧部落纷纷前来加入。随着汗国的壮大，到15世纪末，一个有共同名称、共同语言、共同地域、共同经济生活和表现于共同文化上的共同心理素质的稳定的哈萨克民族最终形成。1589年，哈萨克人及其分布地区已区分为三个玉兹（血缘的部落联盟）：大、中、小玉兹，即清文献中的右、左、西三部。其中的中玉兹（哈萨克斯坦中部地区）和大玉兹（七河流域）臣服于准噶尔部。而小玉兹（西哈萨克斯坦）则于1731年被沙俄吞并。但是准噶尔汗封建贵族烧杀抢掠使哈萨克人民遭到灾难。1728－1730年间，哈萨克族人民数次沉重地打击了准噶尔贵族的入侵。18世纪中叶，清朝统一了准噶尔部，解除了哈萨克来自准喝尔的威胁。哈萨克三玉兹先后表示归顺清朝，特别是中玉兹和大玉兹，与清朝的关系更为密切。
18世纪中叶起，沙俄侵略中国，并侵入哈萨克草原和原属清伊犁将军管辖的巴尔喀什湖以东、以南地区。1864～1883年，沙俄以讹诈和军事威胁手段，迫使清政府签订一系列不平等条约，按照条约中“人随地归”的规定，侵占了原属中国的哈萨克族及其居住地区。1864年，游牧在斋桑湖一带的哈萨克族12个克烈部，因不堪沙俄的统治和压迫，离开原牧地，移居到阿尔泰山地区。1883年，哈萨克黑宰部落３千多户迁入伊犁和博尔塔拉地区。划界后，又有了不少哈萨克族迁入了中国境内。至19世纪中叶，哈萨克族占了伊犁地区居民的大多数。他们有丰富的畜牧业生产经验，对祖国边疆的经济发展作出了贡献。 光绪十年（1884）新疆建省后，伊犁、塔城及蒙古、哈萨克部落隶属于伊犁将军；北部的阿勒泰初属于科布多参赞大臣，后划为勒泰区（1919）。1911年辛亥革命爆发后，结束了清朝对哈萨克人民的专制统治。1912年阿勒泰的扎克热亚、拜穆拉等率领哈萨克使团到了北京。
历史上，哈萨克族人民曾和新疆各族人民一起为维护祖国统一，反抗沙俄侵略做出过重要贡献。19世纪后半叶，沙俄武力征服中亚，强迫清政府签订一系列不平等条约，割占中国西北大片领土，使大批哈萨克牧民遭受到残酷统治。哈萨克人民不畏强暴，多次起义，打击了沙俄在中亚的统治。《中俄伊犁条约》签订后，沙俄强迫伊犁各族人民迁移，遭到哈萨克人民的顽强抵抗。不仅如此，在1855年火烧俄国“贸易圈”的斗争中，在1871年抵抗沙俄入侵伊犁的战斗以及阿勒泰地区抗俄的斗争中，哈萨克人民均表现出了坚决反对外敌入侵的爱国主义精神。
1944年～1949年，哈萨克族人民积极参加了反对国民党统治的伊犁、塔城、阿勒泰三区革命，为新疆的和平解放做出了贡献。
中华人民共和国的成立，使中国哈萨克族人民进入了与中华各族人民共同发展繁荣的新时代。1951年1月，甘肃省敦煌县成立了“安置流散哈族工作委员会”。1953年3月，中共中央西北局和西北行政委员会在兰州召开了“甘青新三省边境哈族头人联谊会及各族团结会”。会上讨论了划分哈萨克族牧居区域，建立民族自治政权，发展民族经济文化等问题，拟定了《甘青新边境各族代表关于加强民族团结，安置边境哈族的协议意见》。规定：甘肃以海子为中心，东至哈尔腾东端的托逊堡，西至安南坝，南至海子南端，北至燕都尔图，上述地区为哈萨克族居住和放牧区域。青海都兰方面以格尔木为中心，东至达赍，西至乌图美仁，南至古尔班崖吉，北至且如地带为哈萨克族居住放牧区。从此，甘青新边境的哈萨克人民彻底结束了长期漂泊动荡的生活，有了自己固定的居住地和放牧草场。1952年至1953年间，经新疆省人民政府批准，被乌斯满匪帮裹挟到镇西的300户哈萨克族牧民迁回阿勒泰。从此，巴里坤的哈萨克人民过上了和平安定的生活。从1954年至19784年，在人民政府的帮助下，一批批哈萨克族牧民由甘肃、青海陆续迁回新疆。
1954年11月27日，伊犁哈萨克自治区在伊宁市正式宣告成立，区下设伊犁、塔城、阿勒泰三个专区，并受新疆省人民政府委托，代管博尔塔拉蒙古自治区（后改称自治州）。1955年11月，根据《中华人民共和国宪法》有关行政区域划分的规定，伊犁哈萨克族自治区改称伊犁哈萨克自治州。