，家玉起兵道滘，得惠阳淡水农民武装首领李万荣加入。三月十四，家玉率义军约联博罗韩如琰义军攻入莞城，活捉清知县郑鋈，擒杀清典吏赵元鼎，同时任命原明朝的东莞儒学训导张珆为知县。布置停当后即还师道滘，为收复广州作准备。十七日，清广东提督李成栋率大军攻东莞县城，张家玉与之大战于万家租。由于仓促应战，且清军人多势众，家玉兵败，退回道滘。二十八日，清军攻道滘，大战三昼夜，义军虽斩杀清军千余人，但自军亦伤亡惨重，道滘遂陷。家玉败走新安西乡(今属深圳宝安)，得到当地大豪绅陈文豹的支持，“诸山骁勇皆起应之“，遂重整义军，接着攻克新安。四月初十，李成栋遣戚元弼及义子贾九率军攻西乡，为家玉所败。
六月十七日，李成栋亲率大军陷新安，转而攻西乡。清军势大，张家玉且战且退，沿虎门(今东莞市虎门镇)、厚街(今东莞市厚街镇)退到企石铁岗(今东莞市企石镇)，得“草泽之友“姚金、陈谷子、罗同天、刘龙、李启新等投效之众五千余人，力量得到补充，便挥军先陷博罗(今广东博罗)，再克连平(今广东连平)、长宁(今广东新丰)、归善(今广东惠阳)，后回师博罗。清军围博罗，家玉脱围至龙门(今广东龙门)，又招募得四五万人，不久攻陷增城。
七月，陈子壮在番禺；九月，陈邦彦在清远，先后为清兵击溃。十月，李成栋集结步骑大军扑向张家玉驻地增城，双方大战十日，家玉兵败，身中九箭，负重伤，不愿被俘，遂投野塘而死，年仅33岁。
张家玉和众多明末清初的抗清英雄一样，具有至死不渝的爱国热忱及毁家纾难的高风亮节的共同特点。但家玉与他们不同之处，在于对待农民武装的开明态度。他自小受封建知识教育，决定了他不可能同意或参与李自成的农民起义军。但可贵的是，他不象一般亡明士大夫那样，对农民军深恶痛绝，甚至于把明亡之罪归于李自成，尽管他被李自成缚于五凤楼七日，但说到明朝的覆灭时，他说：“我明所用不得人，至有今日之祸。“明室之所以亡，乃是“首逆“的“卖国“，并没有大骂李自成。及后与顾之俊联名上疏，恳请隆武帝联合深明大义的李自成军余部高夫人、李锦等，立营“忠贞“。更有说服力的是，他起兵后，之所以能够蹶而复起，败而复合，都是得到农民武装力量的支持，这一点足见张家玉与一般的士大夫的差别。