担心段韶少年意气，想要趁势南下，完成昔年太武帝拓跋焘饮马长江的成就，便有意前来劝阻
段韶听了高岳的担忧，开怀大笑，原来他确实有意渡河南下，却并非要饮马长江，而是趁机在淮南劫掠人口物资，迫使进攻豫州的羊侃所部回援，他也不会恋战，立即北返，哪怕已经夺占的城池也愿意尽数放弃，绝不使自己身陷险地，更别提深入梁境，饮马长江
高岳听说了他的打算，终于放下心来，对段韶表示自己一定会看护好浮桥，以供他回师淮北
段韶于是与高岳尽快交接了俘虏，又把被他强征来的农人统计姓名，以实现之前承诺到时让高澄为他们免税
自己则从五万州郡兵中拣选精壮之士一万五千人，联合自己的五千旧部共计两万，经羊鸦仁北渡时的浮桥南下
其余三万五千人由副将统率，尾随其后接收人口
段韶领军在淮南北部肆意流窜，烧抢掠夺，胁迫淮南北部民众经浮桥渡河，每日都有大量民众被迫背井离乡，怨声载道，可在东魏将士的刀枪逼迫下，敢怒不敢发作
劳苦大众只要有一口饭吃，大抵都不敢以性命相搏，况且这些东魏士兵虽然烧屋抢物，但到底没有对妇人下手，这也是段韶在南下前与众将士三令五申强调过
大家跟随小高王数年，知道他最恨凌辱妇人的军士，死在这条禁令上的人多了去了，也不敢为了小头不顾大头，还算是老实
建康方面得知羊鸦仁大败，不止身陷贼手，七万大军逃回来的不足万人，无不惊恐
又得知段韶肆虐淮南，萧衍当即命令羊侃放弃牵制娄昭所部，移师淮南，自己也在建康汇聚兵力，准备与羊侃一同将段韶留在淮南
不过段韶这人属泥鳅的，滑不溜秋
他得知羊侃东进，拒绝了娄昭信使转达的合兵共取淮南的提议，他解释道：
“相王、大将军战于关中，我等保河南安宁即可，若取淮南，必招致梁人倾国来攻，若陷于此，必要迫使相王、大将军来救，如此岂不是误了关中大事”
于是段韶在羊侃抵达淮南，建康之兵刚刚渡江的时候，已经挥师北返，只给羊侃等人留下一片狼藉
淮南北部凡是被攻陷的城池，民众尽数被段韶强行迁走，只有少数人逃到山里躲过一劫
而退兵时又效仿柔然焚毁六镇，在城中到处放火，许多城池被付之一炬，只剩断壁残垣
据说萧衍得知消息，气急攻心，在朝堂上喷吐出血来，七十六岁经上这么一出，也就是萧衍生命力强盛，放在别人身上只怕早就一命呜呼
不过经此一事，南梁东部攻略完全作废，萧衍也随即下令江陵方面退兵，西魏安危只能靠他们自己与萧纪所领蜀兵在正面战场建功了
而娄昭得到信使回报，也对段韶的冷静感慨不已，他与亲信说道：