徐怀玉，是亳州焦夷人。年轻的时候就跟着梁太祖混，俩人都是从底层一起爬上来的。徐怀玉当将军，觉得自己很牛，而且特别勇猛，冲锋陷阵不在话下。
跟着太祖镇守宣武，当上了永城镇将。后来秦宗权打梁朝，在金堤、灵昌、酸枣一带扎营，徐怀玉带着轻骑兵连着几次打败了他们，俘虏杀了五千多人，升官当了左长剑都虞候。他又在板桥、赤冈打败了秦宗权，拔掉了他的八个营寨。
跟着太祖东征兖州、郓州，攻破了徐州、宿州。徐怀玉身上全是刀伤，每次打仗都打赢，得到的赏赐，经常分给士兵们，是梁朝有名的将军。他本来叫徐琮，是太祖给他改名叫怀玉的。
后来跟着太祖打魏国，在黎阳打败了魏军，接着东攻兖州，在金乡打败了朱瑾。 又跟着庞师古打杨行密，庞师古在清口战败了，就只有徐怀玉带着一队人马完好无损，他还收拢了散落的万余士兵回去。 他升任沂州刺史，那几年丰收，他就修缮兵营，准备打仗和防守。
后来王师范造反，攻打梁朝东部边境，徐怀玉多次用州里的军队打败了他。 他又升任齐州防御使。天复四年，他带兵去洛阳护送昭宗，后来升任华州观察留后，驻兵雍州。 之后又升任右羽林统军，驻扎在泽州，晋军来攻打，挖地道想偷偷进去，徐怀玉在地道里跟他们打，晋军才退兵。
太祖当皇帝的时候，徐怀玉先后当过曹州、晋州刺史，晋军多次攻打，徐怀玉坚守不出，在洪洞打败了晋军。 后来被封为保大军节度使。 梁太祖死了以后，朱友珪自立为帝，朱友谦投靠了晋军，一起攻打鄜州，抓住徐怀玉把他杀了。
