朝廷以宗泽的副手杜充接任东京留守，他不但没有跟随宗泽的方针与做法，居然还改弦更张，反其道而行。
他首先停止北伐行动，阻止王善与张用出兵，让已经在相州作战的统制薛广自生自灭。对于民间抗金的武力团体，他也不再提供连系与支援，甚至视之如盗匪。
金人把握这个机会，对沦陷区内的民间武力团体进行大规模的扫荡，包括大名府与五马山寨都陆续遭到扫平。
自此之后，金人再也没有后顾之忧，宋金的战事也从两河地区大幅南移，到达江淮地区，直接威胁到南宋朝廷的安危。
建炎二年十一月，金军向南宋大举进攻。
这一次他们採取东西并进的策略。由完顏楼室率领西路军进攻陕西，由粘罕、讹里朵率领东路军从黎明津南下。
建炎三年三月，西路军连破延安府、晋寧军、麟州等地；东路军也是连破澶洲、相州之后，分兵由滕县去打扬州，粘罕自领主力在淮扬击溃韩世忠。
数百骑兵由滕县快速南下，遭遇到扬州西北方的天长军，也是很快就被金人打得四处逃窜；吓的高宗轻骑简从仓促渡过长江南逃，韩世忠也经由水路南下到达钱塘与高宗会合。
君臣见面相拥而泣，高宗亲手书写「忠勇」二字以示嘉勉，并将韩世忠升任从二品昭庆军节度使。
高宗将国都再迁到临安，也就是现在的杭州。
金兵也因为长江天险而退兵。
高宗每次将国都南移，不但所有中央的大小官吏要跟着走，不少靠官府朝廷吃饭的工商人士也必须连动迁移。还有许多有钱的人害怕被金人统治之后可能会被抄家，所以每次也都是携家带眷，收拾细软在皇帝后面跟着跑。
尤其是最后这次，一方面时间太过仓促，一方面陆路又慢又不安全，所以大家全都选择水路。这么一来就必须动用大量的船隻，所以担任御营司都统制的王渊一下子就变成炙手可热的关键人物。
他将徵召来的一百多艘船，优先将皇家、宦官以及与自己交情较好官员的眷属与财物载运前往临安。只留下少数的船供给其他军民做为渡江之用。尤其是粘罕宣称要对扬州屠城之后，整个长江北岸挤满了难民与逃兵，遭到践踏或跌落江中惨死的人不计其数。
还有许多兵马，因为无船渡江，被金兵追上合围，最后只好全部投降。
对于这次金兵入侵速度如此之快，经过检讨之后，大家都将矛头指向左相黄潜善与右相汪伯彦；人人都说他们政策错误，用人不当，所以一到临安高宗就下令将两人免去一切职务，而且永不录用。
高宗即位以来，朝廷中一直有两批人马在角力。其一以左右相为主，他们掌握了军政大权，不断打击主战派；其二就是王渊与宦官康履等人，他们日夜在高宗身边，希望得到高宗的宠信，藉以获得优渥的生活，累积财富。
黄潜善与汪伯彦刚下台，相对阵营的王渊，就在康履不断吹捧下，不但没有获罪，反而高升为枢密院副使。