即被英军勒令收缴武器。孤军以“军人不能离枪”为由，拒绝缴械，双方形成对峙。这时，国民党政府还派人劝说孤军配合英军。可孤军的枪刚交出去，英军就将孤军押上车辆，送胶州路羁留。
孤军被送到胶州公园时，有350人和一面国旗。杨瑞符1939年6月12日在《大声报》发表文章，对四行保卫战作了这样的评价：“是役也，既未成功，又未成仁，仅仅作到‘绝对服从命令’六个字……”
在“八百壮士”撤入租界时，日军即要求租界当局引渡。但迫于我国民众的压力，租界工部局始终不敢答应。后来，日伪又阴谋劫持和暗杀，多次派日本浪人或汉奸，怀藏手榴弹、短枪等武器，闯入孤军营图谋暗害，但未得逞。中外人士十分担心谢晋元和八百壮士的安危，多次提出用难民分批将孤军调换走等救孤军的方案。但谢晋元一一谢绝。他表示：“余自奉命撤退之始，即知今后环境之艰危，当十倍于固守四行之时。地方人士曾有私潜离上海之建议，但经余拒绝。因余为奉令撤退，光明而来，亦当正大而去。”
汪伪上台后，陈公博当了伪上海市长，多次劝降谢晋元，请谢晋元去当伪第一方面军司令。谢将委任状撕得粉碎，并大骂卖国贼。谢晋元说：“我父母都是中国人，生下我这个儿子也是中国人，中国人决不当外国人的走狗！”
1941年4月24日晨5时，谢晋元和以往一样，率领官兵早操。当他看到上等兵郝鼎诚等4人迟到后，就询问原因。谁知他们4人突然取出预先藏在身上的匕首及铁镐等凶器，蜂拥而上，猛刺谢晋元胸部及头部。谢多处重伤，流血不止，至6时许悲壮长逝，年37岁。4个凶手当场被擒，后交待是汪伪政府收买所为。
谢晋元牺牲的消息传出，上海各界人士深为震惊，前往吊唁者达十余万人。5月8日，中国政府下令追认谢晋元为陆军步兵少将。
1941年12月8日，日本突袭珍珠港，太平洋战争爆发，上海沦为真正的孤岛。
12月28日，日军突入孤军营，将手无寸铁的孤军全部押走。历时四年有余困守的谢晋元的队伍又沦为日军的战俘。但迫于孤军在世界上的影响，日军没敢杀他们。在这么恶劣情况下，孤军仍保持了坚强的团结力和严格的纪律，每天抽空由官长率领跑步和体操。
不久，日军将孤军分别押解到孝陵卫、杭州等做苦工。到孝陵卫的部分孤军夺取日军的枪械后逃走，后又走上抗日战场。36名孤军军官被日军押到新几内亚作苦力。1945年，孤军看到日军垂头丧气，整天酗酒，才知道日本战败，反过来把日军抓起来当了俘虏。
1946年，名扬天下的“八百壮士”，从各地回到上海，总计100余人。他们请回老团长的遗霜凌维诚，在老团长的陵墓四周搭起棚子住了下来，为老团长守灵。