始终拥护中央和毛泽东的正确路线，同张国焘进行了坚决的斗争。他因此被剥夺了军事指挥权，被调到红四方面军红军大学任上级政治科科长兼军事教员。在朱德和贺龙的干预下，他才调到红二方面军任第六军团参谋长。1937年5月，彭绍辉调任二方面军教导团团长。
抗日战争爆发后，红二方面军教导团改编为八路军第一二0师教导团。教导团为敌后抗日游击战争的发展输送了大批的干部人才。1939年3月，到晋西北任新组建的第三五八旅旅长。同年夏天，奉命率三五八旅护送“抗大”、“陕北公学”、“鲁艺”等单位的7000多人，越同蒲铁路，东迁敌后。这年冬天，他又率领七一四团向晋察晋护送了一批弹药。彭绍辉指挥部队在多次与日军进行战斗的同时，还与国民党顽固派展开了反“摩擦”斗争，从而巩固了晋西北抗日根据地。不久，三五八旅转到北线，改为晋绥独立第二旅，彭绍辉率独二旅参加了夏季反“扫荡”战役，配合主力部队粉碎了敌人的军事行动。9月，率部参加“百团大战”，歼敌3500余人。11月，晋西北军区成立，兼任晋西北军区第二军分区司令员。1942年6月，彭绍辉调中央党校学习。1943年3月，出任抗大总校副校长。10月，他参加了中共中央召开的高干会议，年底被调任抗大七分校校长。抗大七分校在他的领导下，圆满地完成了教学任务和各项工作，在生产上也取得重大收获。1945年，彭绍辉出席了中共七大。
抗日战争胜利结束后，彭绍辉于1946年5月奉命调任晋绥吕梁军区司令员。从1946年秋至1948年夏，先后参加指挥了晋西南、汾孝、吉乡、兑九峪、神堂底等战役，战斗数十次，毙国民党军、俘国民党军数万人，解放了永和、大宁、隰县、交城、中阳等县城及重镇30余座，缴获大批武器、弹药和物资。在他精心部署和果断指挥下，创造了不少以较小代价换取较大胜利的成功战例。1948年8月，晋绥吕梁军区的部队改编为西北野战军第七纵队，彭绍辉任纵队司令员，率部参加了攻克太原的战役。1949年1月，七纵队改称西北人民解放军第七军，彭绍辉任军长，指挥部队转战西北战场，屡建奇功。取得了扶眉战役、追歼青海马家匪帮、解放甘肃天水、进军陇南及解放成都地区的作战胜利。成都解放后，彭绍辉受命担负整编、改造起义部队的任务。
中华人民共和国成立后，彭绍辉受命组织筹办第一高级步兵学校，并任校长。1952年任西北军区副司令员兼参谋长。1954年10月任中国人民解放军副总参谋长，并曾先后兼任中国人民解放军训练总监部副部长、军事科学部部长、条令部部长。1955年被授予上将军衔，荣获一级八一勋章、一级独立自由勋章、一级解放勋章。1957年参与组建中国人民解放军军事科学院，任副院长，后兼战术研究部部长。1960年1月复任中国人民解放军副总参谋长。1969年任中共中央军委委员。
1978年4月25日，彭绍辉在北京病逝，终年72岁。