杨广的这种错误认识，终于让他在张金称死后两个月。做出了一个致命的错误决定mdash;mdash;当时。杨义臣又已经在战场上连续击败窦建德好几次，并且把窦建德的兵马打散了至少十几万人。而杨广见其他河北贼头都不堪一击，居然被杨义臣击溃了这么多部队，心中狐疑：河北之地，年年剿匪消灭几十万人，从大业八年开始，都已经第四年了，按照历任涿郡留守、河北道经略使报上来的数字，岂不是光看剿灭的乱贼的人数。就起码有两百万人以上直接从贼当兵不成？天下难道真有这么多人从贼？
这一念之差，让杨广颇是找朝臣询问了一番河北贼情实际情况，裴矩、虞世基等掌握着话语权的朝中重臣倒也没有对杨义臣落井下石，只是委婉地对杨广陈述了实情mdash;mdash;
历史上的这个时刻。虞世基比如今还要圆滑得多，为了更好的保护自己，他几乎已经被杨广的暴虐打断了脊梁骨，只知道顺着杨广的意思说，还说出了杨留守年年剿贼数十万，河北焉有如许多贼寇rdquo;的评价，从侧面质疑了杨义臣剿贼规模的真实性。坚定了杨广认为杨义臣养寇自重的念头，算是要为杨义臣的被撤换担负下次要责任。而本时空因为虞世基好歹通过当初萧瑀的渠道，已经或多或少靠拢了萧铣，也在两次黑锅事件中被萧铣暗示感化，所以倒没有说出这种推波助澜的话。然而虞世基的这一点点小转变从结果而言并没有什么卵用，依然阻止不了杨广对臣下忠诚度的猜忌和脑补。
结果杨广犹豫再三之后，或许是真的害怕杨义臣杀良冒功、持续养寇自重以维持兵权，或许是杨广这个时间点真的已经下定了迁都南下的决定，不打算再在河北留下那么大规模一支需要朝廷供养的大军。总之，杨广下达了一条后来让河北重新糜烂的圣旨。
把河北道经略使杨义臣调入朝廷，加封为礼部尚书（此为史实）。
从官爵品级上来看，加封为礼部尚书是升官，但是地球人都知道，在战争年代从方面大员调回朝中管教育部，究竟意味着什么。杨义臣倒是没敢抗旨不遵做出什么直接扯旗造反的事情，只是在退兵前如同后来的岳飞一样拔剑斩石，恨声长叹：五年之功，毁于一旦。
据说杨义臣被召回朝中之后，他在河北的剿匪军队除了少部分有朝廷编制的被撤回东都、后来也得以跟着朝廷南下之外。其余大部分杨义臣战时权变多征的军队，在杨义臣离去后都被遣散了，甚至有不少精兵后来被窦建德拉去从贼mdash;mdash;那部分兵马主要是因为看到了杨义臣遭受的不公正待遇之后，对大隋朝廷再也没有最后一丝期望和忠诚可言，才愤而投敌的。
杨义臣本人，则在被召回朝中之后，整日郁郁寡欢，最后在大业十二年年初的时候疽疮发背而死mdash;mdash;这个症状死法，据说和史书上记载的亚父范增因为项羽中了陈平的反间计而被逐走后，忧愤而死的病症是一模一样的。
后人唏嘘不已，对杨广这种自毁长城的举动无法理解，但是谁让杨广就是这么干了呢。只有身临其境的人，或许才能明白此时此刻的杨广真是打算暂时放弃北方了mdash;mdash;历史上杨广南迁到扬州之后，对北方的赋税也好，军费拨款也好几乎都不过问也不作为了，如果他不提前遣散杨义臣，那么杨义臣的部队只要拿不到军饷，最终就算杨义臣本人再忠心也是会被逼反的。所以杨广这么做，其实只是希望河北人和河北人自相残杀。杀到那些靠抢劫滚雪球壮大的农民军无良民可抢、然后全部自行饿死，他再来收复山东和河北。
正如一些细菌在灌满了营养液的培养皿里头，你靠往里头打抗生素杀菌并不一定是最有效的办法，尤其当细菌调整好了环境进入指数期增长的时候。但是任何培养皿里的细菌种群总有消亡的那一刻，那就是营养液被耗竭的时候。而放到社会环境中时，其实当一些农民军通过劫掠其他更弱小的贫民而非豪强来壮大自己时。这些农民军就已经化身为了细菌。而良民就成了营养液。杨广虽然不懂生物学，但是在他看来，北齐故地那些野蛮的刁民，真的已经和细菌差不多了，必须釜底抽薪把那些顽强彪悍的族群彻底饿死，然后重新移民改良其民风才能长治久安。
杨义臣被召回朝廷之后，河北局势重新糜烂。张金称被杀后那些残余的非嫡系部队也逐渐被原本已经被杨义臣逼入绝境的窦建德所先后收服，最终成就了窦建德成为河北地区笑到最后的军阀。
此时，却把目光重新投向尚在东都的朝廷。杨广一边着手解决了杨义臣的问题之后。另一边也听说了江南道的萧铣回报，说江西乱贼林士弘已经被基本剿灭，只剩下一些逃进山区为寇的一时之间找不到，但从丹阳到武昌之间全线都已经肃清。另外。在燕王南下留守的三四个月里头，江都扬州的行宫基本上重新修葺一新，足可供朝廷暂且驻扎。得了这两个难得的喜讯之后，杨广终于可以把朝廷南迁的事情正式提上台面了。
不出所料，杨广正式提出朝廷暂时移驻江都的动议之后，依然遭到了无数大臣的反对，可惜杨广已经到了一意孤行的程度。在虞世基和裴矩屈服之后，其他人的劝说都已经无效了。杨广以几乎是一言堂的形式，给了朝臣和骁果军等京师驻军一个月的时间准备，九月必须启程南下巡幸江都。
--