岳肃、蔡子峰不知渡元和未读过葵花宝典，反请他答疑解惑。
渡元默默听二人背诵经文，暗中强记并自行参悟，将心得写在随身袈裟上——即七十二路《辟邪剑谱》。
八日后渡元却并未返回少林，致信师父，称凡心难抑、决意还俗。
他还俗后改回本姓，取名林远图，本身他作为和尚，就没想过后代的事。
有没有后，对他来说根本无所谓。
所以，书信回去少林寺后，他就直接开始练起了这辟邪剑谱。
再之后，林远图在福州创立福威镖局，凭辟邪剑法纵横江湖未尝一败。
为了掩人耳目，他还娶妻了，之后还抱养了一个孩子。
林远图告诫后人，此功阴损，严禁后世子孙擅练，养子是知道内情的，干脆把印有功法的袈裟藏了起来。
从此，辟邪剑法就半失传了。
传至第三代林震南时，镖局只练辟邪剑法皮毛不知精髓，后青城派余沧海觊觎剑谱而林家却拿不出，于是被余沧海一气之下灭了福威镖局满门，只留林平之一人逃脱。
林平之流落华山拜师，与岳灵珊成亲，后从向阳巷老宅密室取得祖传袈裟剑谱，自宫苦练为父母报仇。
岳不群暗中从林平之密室中取得剑谱，知道女婿成了太监后并未揭穿，反而也跟着自宫，练成了神功，击退左冷禅合并五岳的计划。
林平之最终焚毁袈裟剑谱，任我行夺黑木崖后也毁掉了魔教所藏《葵花宝典》残本。
自此，《葵花宝典》系列丛书算是彻底消失在了江湖上。