尔陆十分重视军工产品的质量。他经常讲，如果军工产品质量不好，等于帮助了敌人，就是犯罪！遗憾的是，正当许多军工厂开始质量整顿时，由于受到庐山会议反右倾政治斗争的影响，产品质量问题未能得到解决，赵尔陆对此内心十分沉重。
1959年11月，赵尔陆兼第一机械工业部党组书记。1960年8月兼任国家经济委员会副主任；9月13日，中央书记处召开了电话会议，第一机械工业部部长赵尔陆在会上列举了许多质量不好的例子：“冲锋枪只打了十几发子弹，击针尖就断了，还不如阎锡山兵工厂生产的好；有的工厂生产的潜艇用的蓄电池，有一半不能用，有的工厂竟把五七炮的零件并到五八炮上去；沈阳飞机厂由于质量问题，两年多来没有交出合格的米格飞机。”会后，第一机械工业部分为第一、第三两个机械工业部，赵尔陆因讲话在“国防工业三级干部会议”上受到批判。
1961年1月，赵尔陆担任中央军委国防工业委员会副主任兼国家经济委员会副主任；11月任国务院国防工业办公室（主任罗瑞卿）常务副主任兼中共中央国防工业政治部主任：“国防工业办公室”是核工业部、航空工业部、电子工业部、兵器工业部、造船工业部、导弹工业部的主管部门，赵尔陆主持日常工作。1964年上半年，赵尔陆到青海视察第一颗原子弹实验基地，因他患有肺气肿和哮喘病，非常艰苦。1965年12月，总参谋长、军委秘书长罗瑞卿被打倒，罗瑞卿的主要罪状之一被定为反对发展尖端武器，并以此大批国防工办第一副主任赵尔陆。
1966年深秋：“文化大革命”的风暴，赵尔陆受到严重的冲击。当时，赵尔陆的身体每况愈下，肺气肿使他几乎不能睡眠，心脏病不断发作，可是他被逼无奈，不得不带着保健医生和氧气瓶去挨批斗，还要带病坚持工作。有时在家躺在床上边吸氧气边召开党委常委会。会散了，女儿赵珈珈心疼地看着躺在病床上的父亲，流着泪劝他说：“爸爸你休息吧！不要管了，你管不了的。”
1967年1月：“夺权”的风暴席卷神州大地。本来已被打翻在地的各级领导，又被当作“走资派”夺走了权力。赵尔陆的心脏病日益严重，被周恩来总理安排在西山疗养。身病心忧使他又黑又瘦，本来合体的一号军装，此时穿在身上已显得过于宽大。离开了工作岗位，他郁郁寡欢，度日如年。他每天都与几位老帅联系，希望自己能早日回到机关工作，尽全力抓好国防工业。
1月22日傍晚，聂荣臻和叶剑英两位元帅同意赵尔陆回去工作，他神采飞扬地对妻子和女儿说：“两位老帅让我因势利导，作好群众工作，争取早点取得群众谅解。”他还嘱咐女儿珈珈“你回家以后要积极到学校去，不上课了还可以学习毛泽东著作嘛。一寸光阴一寸金，不要总是晃来晃去。”全家愉快地聚在一起吃了一顿最后的晚餐，他还送妻子和女儿到门口，目送着她们返城回家。就在离别的这个夜晚，他给妻子和女儿留下了永恒的微笑，他那炯炯有神的目光里，充满了对工作的向往。然而，妻子和女儿无法料到的是，这竟是最后的诀别。
这天深夜，赵尔陆从西山乘吉普车悄悄地回到办公大楼。当他得知除了我国第一颗氢弹研制和极少数项目外，大部分国防工业的研究生产几乎处于停产状态，他心急如焚。尽管这位驰骋沙场的勇将，在造反派的包围之中，不得不离开这座部队大院，否则就有被抓走的危险。可工作不能不抓，国防工业不断传来停工停产的告急电报，他不管不行，他已经心力交瘁，心脏病和哮喘病一起折磨着他，他还在坚持工作。
为了保护赵尔陆，周恩来在京西宾馆接见国防工业系统的群众代表时说：“你们不了解党的历史，你们说罗、赵合谋，这是不符合党的历史的。”周恩来站出来，为当时被造反派斗争的国务院国防工业办公室主任罗瑞卿大将和常务副主任赵尔陆说话。然而，令人痛心的是有些造反派并不听招呼。
1967年2月2日，上午9时许，国防工办的机关工作人员见赵尔陆早上一直没出来，就轻轻地推开赵尔陆办公室的门，吃惊地发现，他坐在平时加班休息用的小床上，身体向前倾，头垂在膝盖上，手里夹着一支香烟，燃烧的香烟把手指烧得焦黄，可是他再也感觉不到疼痛了。一代名将就这样默默地告别了人世。
正当人们为赵尔陆的去世而悲痛的时候，国防工业办公室秘书室接到了周恩来办公室打来的电话，周总理让赵尔陆立即去中南海休息。这是周恩来对赵尔陆采取的具体保护措施。可惜，周总理万万没有想到，几个小时之前赵尔陆已经和他永别了。
“造反派”仍然不放过赵尔陆，污蔑他是“畏罪自杀”。赵尔陆逝世后，国防科委的造反派坚持说赵尔陆是自杀、是叛徒、要打倒，毛泽东听了很生气地说：“赵尔陆是井冈山的人，怎么还整他呢？”周恩来总理站出来说：“赵尔陆同志是正常死亡，你们不要抓住不放。”
2月6日举行了追悼会。周恩来总理、李富春副总理等领导人参加了赵尔陆的追悼会。
1982年9月2日，经中共中央与中央军委同意，中央组织部与解放军总政治部为赵尔陆重新审定了悼词，对他的一生，作出公正的结论：“赵尔陆同志参加革命四十年来，南征北战，艰苦奋斗，把毕生的精力完全献给了党和人民，为中华民族的解放，为社会主义和国防工业建设，鞠躬尽瘁，直到生命的最后一息，不愧是我党我军久经考验的忠诚战士，优秀的中国共产党员。”