而后娄之英跟从众师兄习武学医，李潜文武双全，抽余又教他写字作文，娄之英用心学习，偶尔也去经阁翻阅道藏来读，到得九岁那年，根底已成，余仙便也经常亲身指导武功。忽忽一晃又过三年，娄之英已十二岁了，这些年他虽也修学医术，读阅道经，但终偿还是练武更勤一些，他本就聪慧，又肯在现在下苦功，几年间已将桃源一派武学尽都学会，所差者只是火候太弱，若要武成非得日夜不断习练十年不成。他固然好武，但每日拳耕不辍的几次练习，也会时感古板，大师兄厉知秋和本身最亲，但他经常不在观中，二师兄李潜名兄实师，对本身可谓呕心沥血，但他为人端寂静厉，和本身性子非常不符，三师兄洪扇生性滑稽，极爱打趣，但两年前早已下山，到皇城临安开设医馆，只是年节偶回，四师兄纪有宝、五师兄冯昆均是脾气木讷，只会一心学道。是以娄之英习武之余，也会颇感孤单。
李潜不但授其医道武功，也经常将门规、道学说与他听，娄之英学医有些心不在焉，练武却非常努力，李潜看在眼里，心道此乃本性，硬逼也是无用，幸亏此子于武学一途很有研习之兴，若真能用心此中，将来也会有一番作为，便更加用心传授。