北野战军开展了以“诉苦（诉旧社会和反动派所给予劳动人民之苦）”和“三查（查阶级、查工作、查斗志）”为主要内容的新式整军运动，并在此基础上开展了群众性大练兵，对提高部队的政治觉悟和战术、技术水平起了重大作用。1948年春，西北野战军在宜川西南瓦子街战役中一举歼灭胡宗南部队近三万人，作战部队打得很顽强，特别是经过新式整军的部队更是英勇作战，战绩卓著，毛泽东听到瓦子街大捷的消息后，当即以人民解放军总部发言人名义，发表了《评西北大捷兼论解放军的新式整军运动》，赞扬西北野战军新式整军搞得好，并要求在全军推广。1948年下半年，甘泗淇被任命为中共中央西北局委员。1949年2月，西北野战军改称中国人民解放军第一野战军，彭德怀任司令员兼政治委员，甘泗淇任政治部主任；9月，参加指挥了兰州战役、宁夏战役、河西战役等，甘泗淇协助彭德怀指挥部队征战大西北，先后解放了西北五省；11月，西北军区成立，彭德怀兼任司令员，习仲勋任政治委员，甘泗淇任西北军区政治部主任、第一野战军副政治委员兼政治部主任，即转入清剿残匪，屯垦戍边，一部分兵力参加了进军西藏。1950年5月第一野战军番号撤消，甘泗淇任西北军区副政治委员兼政治部主任。
1951年8月，甘泗淇参加了抗美援朝战争，被任命为中国人民志愿军（司令员兼政治委员彭德怀）副政治委员兼政治部主任，为部队政治工作在保证部队英勇作战方面，做出了很大成绩。1952年6月，他组织召开了第一届志愿军政治工作会议，明确提出了当前政治工作的中心任务；12月，甘泗淇从朝鲜回国，出席全军参谋长、政治部主任联席会议，他从总结志愿军政治工作经验入手，探讨了政治工作中带有根本性的几个问题，受到与会者的重视。1954年10月，甘泗淇被任命为中国人民解放军总政治部（主任罗荣桓）副主任。1955年9月23日，甘泗淇被授予中国人民解放军上将军衔，27日参加了授衔仪式，同时荣获一级八一勋章、一级独立自由勋章、一级解放勋章。
甘泗淇的妻子李贞同时被授予解放军少将军衔，并获二级八一勋章、二级独立自由勋章、一级解放勋章，成为新中国第一位女将军，甘泗淇、李贞夫妇是解放军中唯一的一对将军夫妻，在军中成为佳话。1
1956年9月在中国共产党第八次全国代表大会上，甘泗淇当选为候补中央委员。1959年9月国防部长彭德怀被批判后，由于甘泗淇和彭德怀在一起工作的时间比较长，而且配合得很好，为此遭到林彪等人的打击，被戴上“右倾”的帽子，在这种情况下，他仍然任劳任怨积极工作。1961年12月任人民武装委员会（主任罗荣桓）副主任。1964年2月5日，甘泗淇在办公室工作时，被猝然暴发的心脏病夺去了生命，终年六十岁。