中国回医学的发展，相伴于中阿医药交流。中阿医药交流历史源远流长，最早可追溯到西汉。当时张骞两次出使西域后，中国与西域之交流日益频繁，据史料记载张骞曾到达大宛（即今之中亚费尔干纳）、大月氏（即今之阿富汗北部）、大夏（即今之阿姆河南）、康居（即今之中亚撒马尔罕）等国，并从大月氏经安息（即今之伊朗）直抵大秦（即今之罗马）。张骞的副使曾达身毒国（即今之印度北、盂加拉、巴基斯坦一带）及？？宾（即今之克什米尔及巴基斯坦北部），经此路输入中国的物品中有不少药物，据范行准先生统计：矿物药如石硫黄、密陀僧等凡18种，植物药如木香、豆蔻等凡58种，动物药羚羊角及龙涎等凡16种，共计92种。其中相当一部分是阿拉伯地区的药物。这些药物均被当时汉医吸收和应用。
虽然早在西汉时期张骞、甘英先后通使西域，但阿拉伯与中国的正式友好往来则始于唐代，医药方面也兴于此时。
公元651年，第三任哈里发欧斯曼使节于8月25日到达中国长安，进见唐皇，搭起了中阿友谊的桥梁。自此以后阿拉伯等穆斯林主要沿水旱两路往来于中阿之间，水路由波斯湾到马尔纳湾。经盂加拉湾抵马六甲海峡至我国南海达广州、泉州、杭州，再转至长安；陆路则经波斯、阿富汗到新疆天山南北，最后达唐都长安。比较而言，穆斯林经水路达中国的时间要比陆路早100年。从唐永徽二年到唐贞元十五年的148年中，阿拉伯遣唐使多达36次。当时唐人称阿拉伯人为大食（taz或tazih的译音）人。唐安史之乱，大食应中国之请求，派精兵支援唐王朝，后一些阿拉伯人即定居中国。据史料记载，在安史之乱到长安有更多大食人，其中大部分长期居住在“西市”一带，从事“回回”奇香异药经营。由于盛唐五代时期，阿拉伯与中国的关系最深的是商业贸易，医药方面则是香药进口，有时一处经营香药珠宝者甚至达一二十万人，单香药贸易有时竟达千斤之多，如此大大丰富了中药品种。到唐末五代时，最负盛名的回回医药家李珣，人称李波斯。他著有一本独具风格的药学著作《海药本草》，顾名思义，该书之所以用“海药”命名，是因其所收录的药物多来自海外。该书为总结唐末时南方药物与海外药物临床应用的本草学著作，有较高的文献学价值。另外还有郑虔的《胡本草》及非医药学书籍《西阳杂俎》等也记载了许多外来药物，包括阿拉伯药物。
在唐代不仅有香药输入中国，与之同时一些医疗技术也传入中国，如在《千金翼方·养性》中所记载的“悖散汤”（又名牛乳补虚破气方），本为波斯、大秦医方，曾在朝野间广为流传，对治疗气痢、一切气病、健运脾胃其效甚佳。从唐代开始，回回先民对香药推广应用颇多贡献，如用香药防治疾病、薰洗衣物、化妆美容、调味食品、祛邪防腐等。同时中国穆斯林研究介绍了大量阿拉伯世界文化成就如数学、天文历法等，而中国的造纸术、针灸学、脉学、炼丹术、临床科学经验也源源不断地输入阿拉伯国家，特别是造纸术辗转外传，给欧洲中世纪文明以很大促进。因此早期的回回先民为中外文化的交流做出了重大贡献，尤其在未有空间传播科技的时代，堪称丰功伟绩。
宋代，中国与西域的陆路交通不如海路发达，在东南沿海一带如广州、泉州、杭州、扬州等地集居了大量的大食人，其中不乏香药巨商与医家，且人数日增。由于海上交通频繁，宋皇特命在广州、杭州、泉州等沿海地设“市舶司”以管理海外贸易及对外文化交流。载入史册的有福建蒲氏家族。《宋会要稿·蕃夷七》记载的蒲寿庚，也是宋代著名香药富商。《蒲氏家谱》有“家居西板”，“世秉清真教，天下蒲氏皆一脉”之记载，蒲氏家族兴盛于宋元，衰落于明清，世袭经商大食香药。
宋代的中阿海外贸易较唐代有很大的发展，贸易品种由唐代的珍宝犀牙为主、香药为辅，渐变为以香药贸易为主。宋太平兴国七年，宋太祖曾下诏令对海外香药香料放通行的有37种，其销路较广的是有医疗作用的香药如丁香、木香、龙脑香、乳香、草豆蔻、沉香、檀香、龙涎香、苏合香油等。由于大量香药的引进，从而大大丰富了中医方药及治疗方法。宋代医方较唐代医方在香药的应用或组方上有明显变化，就《太平圣惠方》而言，仅卷48“诸心痛门”以香药命名的医方有：沉香散3首、沉香丸1首、木香散6首、木香丸6首、丁香丸1首；《圣济总录》卷56“心痛门”以香药命名的医方有木香煮散、木香汤、豆蔻汤、丁香汤、沉香散等31方次，计应用香药8种。《太平惠民和剂局方》是宋代政府和剂局的成药配本，书中以香药命名的医方不下30余种，其中有不少名方，众所周知的苏合香丸、至宝丹、牛黄清心丸等便是。苏合香丸中15味药就有13味是进口药，至今苏合香丸对于中风所致的神志不清、牙关紧闭、半身不遂等重症有明显疗效。其间，大食医家及学者功不可没。
宋代在社会上广用香料、香药薰衣、焚香、啖香之际，礼尚往来亦常以香药作为馈赠佳品，用香药配制的药茶甚至一度成为社会生活中的时尚。皇权贵族之间也视药茶为馈赠佳品。民间百姓们不仅用香药治病，而且也用于消毒。泉州有香料文献记载：“蕃药能治冷气，医学多用之……，泉人每岁家无贫富，皆燃之如燔柴”。现代研究，燃烧香料，对于防止传染病传播和扩散有一定作用。这种习俗，自古至今，不仅在回民中间流行，在闽南地区其他民族中也同样流行。
元代一统天下，将国内民族分为四等，即蒙古人、色目人、汉人及南人。穆斯林则是色目人中的主要分子，他们往往与蒙古人享受同等待遇，无论在法律上或事实上都优于汉人，同时在元代“回回”一名开始代替“大食人”，被人们认为信仰伊斯兰教者的名称。如此则为阿拉伯医药的广泛深入传播与兴盛打下了良好的政治基础，且元人统一中国之后，继续奉行南宋时的海外贸易政策，推行少数民族医药共存的方针，回回医药在此得以兴旺发达。
元初，在元朝政府中设有相应的医药机构。元世祖即位后效法汉制在建立太医院之后，于至元七年（公元1273年）改回回爱薛所立京师医药院为广惠司。据《元史·百官志》说：“广惠司秩正三品，掌修制御用回回药物及和剂，以疗诸宿卫士及在京孤寒者”。至元二十九年（公元1291年）先后在大都、上都建立“回回药物院”；至治二年隶广惠司，定置达鲁花赤一员，大使二员，副使一员。
金元之际，西域技术之士，医家之流多入仕于元，如爱薛、答里麻等。
由于元代统治者对阿拉伯药物高度重视，元代阿拉伯人在当时政府中的医药机构里占极大势力、广惠司是回回医家的大本营。
另外还有一些祖籍西域，生于中国，精通汉、回医药的学者，如元末著名学者丁鹤年，为虔诚的伊斯兰教徒，工儒学，通奥义，精诗律，是一位善兼医术的人。又如元末明初杭州的穆斯林大商人鄂施曼乃的子孙曾设立豪华的私人医院，取名“鄂施曼尼雅”，聘有回回医生从职。陶宗仪《南村辍耕录》所记，不乏不知姓名的回回医官为百姓治病的事例。
金元之际医学文化领域学术活跃，百家争鸣，中医界出现了金元四大学派，回回医药文化此时也发展到鼎盛时期，涌现了与回回药物院有关的、集阿拉伯医药学与中国传统医学为一体，具有中国回回特色的医药大型综合性医著《回回药方》等专著。