方世玉生于1711年(康熙五十年)，祖籍广东肇庆，父亲方德是丝绸商人，娶妻李氏并有方孝玉，方美玉两名儿子。方德在妻子李氏死后一直独身，并有意培养方孝玉，方美玉成为武林高手，就将两名儿子送到少林派里习武，并拜至善禅师为师。
清廷下令火烧福建南少林寺，后来苗显(少林五老之一)便隐姓埋名，贩盐为业，过著颠沛流离的生活。苗显的女儿苗翠花武艺高强，一直在江湖充当保镖，有“一代女侠”的称号。有一次方德途中遇劫，被苗翠花所救，俩人交谈后，发觉彼此均为少林派弟子，志同道合。方德在60余岁时，续娶苗翠花为妻，翌年苗翠花便生下方世玉。
苗翠花随父学得一身好武功，遵照父训，方世玉从满月开始，就被苗翠花用铁醋药水洗身，再用竹板、柴枝、铁条层层包扎，反复锻炼，使方世玉全身筋络骨节血肉非常坚实，经得起拳打脚踢。3岁开始，方世玉头戴铁帽、脚穿铜靴练习跳跃；5岁开始学习扎马；6岁开始学习拳脚功夫；7岁开始学习桩柱。方世玉11岁时，各种武艺样样通晓，少林拳法更是熟练无比。
据史料记载，方世玉性情刚烈，自幼就横行乡里，喜欢与其他孩子们打斗。十几岁时，方世玉被父亲方德送到少林派学艺，虽然身形矮胖，但仗着一身不怕打的功夫，每次斗殴时都冲锋在前，两位兄长在打斗中都难免受伤，却只有方世玉安然无恙。
方世玉不但精通拳法和腿法，亦擅用花刀，这样过了几年，终于打出名气，市井中有“少林十虎”的称号，依次为:洪熙官、方世玉、刘裕德、胡惠乾、童千斤、李锦纶、谢亚福、梁亚松、方孝玉、方美玉其中方世玉名列第二位，不单是因为武功高强，而且本性好勇斗狠。
方世玉14岁时，随父到杭州做生意，中途见雷老虎摆擂台，两边写上“拳打广东全省；脚踢苏杭二州”对联，方世玉大为愤怒，上台比武，将雷老虎打死。雷老虎是武当派李巴山的女婿，而李巴山则是文渊阁大学士陈文耀的侍卫使，雷老虎恃势到处横行。方世玉打死雷老虎，导致少林派与武当派之间的恩怨白热化。
方世玉打死雷老虎，即向父亲报信，父子两人连夜逃回广州，召集少林派人士商议对策。雷老虎的妻子李小环带领武当派弟子赶到广东，声言要为雷老虎报仇。其时少林派早已经严阵以待，以“少林十虎”为首，在广州各地划分地盘，洪熙官、方世玉在广州(约在今日海珠广场一带)公开收徒，专门与武当派打斗。
本来远在家乡守孝的胡惠乾，听到消息后连夜从家乡回到广州，竖起为父报仇的旗号，与西关机房人马大打出手，将冯道德(少林五老之一)的徒孙张锦洪打死，并与三德和尚占据西禅寺，这一消息震动整个武当派，为争夺西禅寺，武当派人士云集广州，与少林派展开广东帮会史上第一次大规模的帮派火并，闹得满城风雨。
李小环的父亲李巴山为武当派堂主，也是清朝文渊阁大学士陈文耀的侍卫使，以官府名义聚集几千名清兵开进广州，名义上是镇压黑帮火拼，实际上是协助武当派攻打少林派。1739年(乾隆四年)，胡惠干与三德和尚在西禅寺战死，而方世玉与童千斤也在随后的火拼中被武当派击毙。经此一役后，少林派的中坚人物几乎殆尽，方世玉死时年仅28岁。