满族人原聚居于黑龙江、辽宁、吉林等地区，公元1644年随着清皇朝进入北京，清廷以驻防形式将满族人分驻全国97个驻防点，从而使相当一部分满族人，从“白山黑水”之间扩展到大江南北，分别居于各城市乡村之中。其中，包括绥远城在内的城镇乡村。
雍正十三年（1735年），《清实录》载：“大兵既撤，若喀尔喀蒙古等，无需内兵防护，请酌留东三省兵五千名……又归化城，路当通衢，地广土肥，驻兵可保护扎萨克蒙古等，调用亦便。请于右卫兵四千内酌拨三千，并军营所撤家选兵二千，热河鸟枪兵一千，并令携家驻归化城。若喀尔喀等自能防守，鄂尔昆不必留住内兵。则归化城请再酌增兵四迁一万人，令其留戎，设将军一员总理，副都督二员协理。所留右卫兵一千名，以副都督一员领之，仍隶归化城将军管辖。并请特命大臣一员驰往，会右卫将军岱琳卜，归化城都督丹津、根敦，尚书通智等，相视形势。其戎兵如何分驻，及筑城垦田，以上兵情等事，详悉确议具奏。”
本定为1735年十二月兴建绥远城，但是并没有开工，因为这一年雍正皇帝驾崩，他的第四子弘历继承了皇位，即乾隆皇帝。1737年三月正式动工兴建绥远城，于1739年六月竣工。
乾隆二年（1737年），御史舒赫德的奏疏最富代表性。他说：“伏思盛京、黑龙江、宁古塔三处，为我朝兴隆之地，土脉沃美，地气肥厚，闻其闲旷处甚多，概可开垦。虽与八旗满洲，不可散在地方，而于此根本之地，似不防迁移居住。且八旗之额兵将及十万，复有成丁闲散数万，老稚者不在内。若令分居三处，不唯京城劲旅原无单弱之虞，而根本重地，更添强壮之卒，事属两便。由是合计，京师及三处地亩均摊给，务使家有恒产，人有恒心，然后再教以俭朴，返其初风，则根本绵固，久远可计矣。”（《皇清奏议》卷34）。随后，右卫的建威将军王昌(也说王常)改称为绥远将军。将军，是八旗兵的最高长官，从一品，是与加尚书衔的总督同级，因驻防全国各地，也称“封疆大臣”。清时规定，与总督同驻在一个省区的，如会同奏事的，要以将军领衔。将军权虽然不如总督，但地位高于总督。清朝全国共设将军13人，分别驻守在下列地方：盛京、吉林、绥远、江宁、福州、杭州、荆州、西安、伊犁、成都、广州和黑龙江、宁夏。绥远城是塞北第一军事重镇，清朝乾隆年间让当时第一任绥远将军王昌移驻到新城。此时，新城建成也就以王昌的称号作为城名，称为“绥远城”了。
绥远城呈正方形，布局合理，街道齐整，四座城门外皆有瓮门，瓮门外有石桥、护城河。城门上有望楼，城角有角楼，城中央有一座高大的鼓楼。以鼓楼为中心向四方延伸出四条大街，东街和北街临近城门处都带拐弯，成辘轳把型。因此，东西门不对，南北门错开。
绥远城建成后，大多数满族人由东北、北京、右卫迁徙而来，驻防于此。官方给迁徙人员共发白银120万两，共建房屋大约2万间，其中商号铺房1530间，1737年，进驻满族官兵3900名，还有从内务府所属旗籍户在城西南的大黑河、三军桥、“十三圈”地域内开垦种粮，总体满族人员达到19500人。
绥远城建成后，官兵家属也都迁来。绥远城墙内的东北、东南、西南、西北四个角由蒙古族官兵驻防。北城门往东到东北角驻蒙古镶黄旗；从书院街到东南角驻蒙古镶白旗，北城门往西至曙光街以北驻蒙古正黄旗，粮饷府西街以南到西南角的菩萨庙、小校场一带驻蒙古镶红旗。
以下地段驻满族八旗：山神庙街到家庙街驻镶黄旗头甲；家庙街往南到元贞永街地段驻镶黄旗二甲；元贞永街以南到仁普巷驻正白旗头甲；仁普巷以南到将军衙署北侧驻正白旗二甲；新城东街以南到东落凤街驻镶白旗头甲；东落凤街以南到水源街驻镶白旗二甲；水源街以南到利民街驻正蓝旗头甲；利民街以南到牛肉铺巷驻正蓝旗二甲；苏虎街以北到曙光街驻正黄旗头甲；苏虎街以南到傅茶馆巷驻正黄旗二甲；傅茶馆巷以南到建设厅街驻镶红旗头甲；建设厅街到西夹道巷驻镶红旗二甲；新城西街路以南到西落凤街驻正红旗头甲；西落凤街以南到关帝庙街驻正红旗二甲；关帝庙街以南到义成泉后巷驻镶蓝旗头甲；义成泉后巷以南到南门里西巷驻镶蓝旗二甲。
大多数满族人家占三分三厘宅地，建正房三间，其中一房间里，地下有青砖砌的菜窖。每到过年，里外房间油刷一遍，房间外面窗框、房檐都刷成蓝色的，屋里糊上剪纸，显得格外美观大方。一般厢房三到五间，一进大门是一影壁，中间有一香炉。
绥远将军衙署是绥远城内的主体建筑，绥远将军衙署内共有六进院落。从乾隆二年到宣统三年，清帝共授67任绥远将军。1912年10月，前清最后一任绥远城将军坤岫，离开将军衙署。