动属于非法，明中期以后众多流民还是冲破了官府的限制。成化年间，流民便开始陆续进入南赣地区，“（闵珪）成化六年擢江西副使，进广东按察使。久之，以右佥脸都御使巡抚江西。南赣诸府多盗，率强宗家仆”这里的“强宗家仆”，应该就是自外地逃奔而来的流民。而“地方大户并各屯旗军，多有招集处处人民佃田耕种，往往相聚为盗，劫掠民财。……（流民）不计于版籍，身不役为差徭，出入自由，习成野性。往往强劲，多是此徒。”可见，赣南的大户已经招揽附近的流民为佃户，不过这些流民的到来却“往往相聚为盗贼”，转化为地方强盗。据曹树基的研究，这些流民成分复杂，并非来自于同一个地区，但大致而言，以来自粤北、赣中和闽西为多。到了正德年间，赣南地区已经形成了众多官府控制不到的“贼区”，如南安府的情况如下
“随据统兵官员并乡导人等呈送，自本年正月蒙本院抚临以来，募兵练卒；各贼探听消息，将家属妇女什物俱各寄屯山寨林木茂密之处，，其各精壮贼徒，昼则下山耕种，夜则各遁山寨……该本道查得上犹县附近巢穴，则有旱坑、茶潭等巢，南康县则有长龙等巢，大庾县则有狐狸坑、船坑等巢；多则三五百，少则七八十名。”
而赣州府南部的安远、信丰等县情况更加严重。
“臣所管辖地方俱系江湖闽广边界处，高山大谷，接岭连峰，昔人号为盗区。然其最剧莫如黄乡新民。其地属赣之安远，名虽一乡，实比大县，中间大帽山一山，环绕三百余里。正德年间何积玉、朱贵、强风等恃险凭高，巢窟其中，因而剽掠居民，攻陷城邑，害及四省，未暇悉成。”
从上面两条材料可以看出，当时赣南地区南安、赣州两府流民为盗的情况已经相当普遍，一方面流民的到来加速了赣南山区的开发，他们开垦荒地，，种植水稻和花生、甘蔗等经济作物，使的赣南山区村落增多，人烟渐密，明代以前“地旷人稀”的生态面貌得到了改变。但是另一方面，大批流民“昼则下山耕种，夜则各遁山寨为贼”却造成了当地治安的恶劣，官府疲于对付各大大小小的流民武装。更为严重的是，为盗之分的蔓延已经使的当地几乎出现了民和盗不分的情况，实际上，当时赣南并非所有的盗贼都是流民，其中也混杂着不少当地的里甲编户和明代以前就居住于此的“畲”、“瑶”等土著。
经历了牢狱之灾，以及颠沛流离的生涯，王守仁处于一种极度矛盾之中。首先自己已经身患肺病，如果再深入到潮湿的瘴气之地剿匪，不知道还有没有命回来，其次祖母年事已高，真是该尽孝的时候，于是王守仁上书一份请辞报告，就回浙江老家去了。
但是朝廷给王守仁下了三道指令，敦促他即刻赴任，不得延误！