于是李纲无奈，将所募之兵尽数遣散，只带宣抚司万余人马前往太原。而此时解潜屯威胜军，刘韐屯辽州，折可求、张思正屯汾州，范琼屯南北关，于是李纲与诸路人马约三道并进，同解太原之围。
临行之时，李纲又上书请六路兵马同往太原，由自己统兵合为一处，再行攻打金军，但钦宗恐其势大，因此不准，并命令各路兵马诸将皆受朝廷节制，有事便直接传达，于是李纲的宣抚使徒有节度之名，却是难以指挥众将，所下军令，各部多不遵从。
因军令不一，各军行进速度不同，刘韐率部先入太原，被完颜银术可一战尽数击溃，而后完颜银术可又大败解潜部于南北关、张思正部于文水、折可求部于子夏山，宋军二十万大军折损数万兵败而回。
宋将大败的消息传回朝廷，钦宗皇帝大惊，使人问责李纲，李纲以众将不听其节制而败，又上书说明节制不专之弊，书中言道：“分路进兵，敌以全力制吾孤军，不若合大兵由一路进。”而此时朝廷之中主和派又占据上风，力主合议，因此钦宗皇帝便下诏令李纲停止进兵。
又过不久，主战派的徐处仁、吴敏被罢免宰相而任主和派唐恪为相，许翰被罢去同知枢密院而起用聂山、陈过庭、李回等人，随后吴敏又被贬谪到涪州安置。李纲得知消息后，叹息道：“事无可为矣！”
随后诏谕命李纲回京，之后钦宗皇帝授任李纲为观文殿学士、扬州知州，李纲此时已经心灰意冷，于是上奏请求辞官，不准。但随后不久，钦宗皇帝便听信谗言，以其“专主战议，丧师费财”为由，将其贬为提举亳州明道宫，责授保静军节度副使，在建昌军安置；后又贬谪到宁江，李纲无奈起身，离京远去。
将李纲召回后，钦宗皇帝又命种师道为两河宣抚使接替，而太原之围未解，却是赔上了数万人马，钦宗皇帝之昏庸，朝中奸臣之横行，可见一斑。
就在宋军连败，朝廷之中争执不休之时，金军休养已足，金太宗诏谕一出，起大军十五万再度南下。