自号“讨袁军”，于12月下旬挥军东征。
尽管段祺瑞调兵遣将进行围堵，但是白朗总能见缝插针，剑走偏锋，不光跳出包围圈，还能屡屡重创官兵。更要命的是，白朗每到一处，就焚烧教堂，绑架洋人，甚至把洋人人质推到阵前当挡箭牌，这让官兵投鼠忌器。
焚毁教堂、绑架传教士使北洋政府在国际上大丢脸面。“焚教堂、戕教士，酿成交涉”，是北洋政府最不愿意看到的情景，而白朗硬是逼着它看到了这些最不愿意看到的情景：列强或强烈抗议，或电令北洋政府速速派兵保护其侨民，或要求赔偿损失，或“剿匪建议”不断，或派员亲赴河南“观战”。驻京各国公使甚至“拟电本国政府各派兵若干，帮同剿办，以期早为肃清。”
正因为如此，驻北京的各国公使馆、北洋国会和中外舆论都对主持剿匪的河南都督张镇芳的无能大加指责，迫使袁世凯改派其陆军总长段祺瑞兼任河南都督，指挥北洋陆军的精锐部队四面包围，“严密防堵”。
然而白朗军忽东忽西的流动作战，在加上各路人马明哲保身，阳奉阴违，段祺瑞也有些力不从心。袁世凯在给段祺瑞的电报中哀叹不已：白匪久未平，各国报纸谓政府力弱，不足以保治安，乱党（指国民党）又从中鼓吹，殊损威信。因而中国债票跌到百分之十二三，续借款愈难办，关系全局甚重，部长（指段祺瑞）久在外，各国注视白狼更重，且久不平，尤损声威。
对此段祺瑞在回电中甚感惭愧地承认，劳师糜饷，贻笑中外，久劳师旅，未靖匪氛，殊深愧悚！这些无可奈何的言辞，说明白朗军给北洋政府确实带来了极大的“麻烦”。
眼看自己的心腹爱将受了这么大委屈，袁世凯有些不舍，便再次走马换将，改派田文烈为河南都督，加派了陆建章、赵倜、张敬尧等师负责督剿，甚至杀一儆百地枪毙过弃城而逃的“失职”县长。