其实，杨子崇劝皇帝离开汾阳宫时，还有几人也帮了腔，比如苏威、樊子盖、萧瑀、张瑾。他们赞成杨子崇的主张。
奈何，两三位职位最高的大将军宇文述、李景、范安贵却不以为然。
他们表态无需太过担心，突厥人不敢来犯。
李景、范安贵都是标准武将，不大关心外交事务，不知道裴矩干的那些事。
两人认为给突厥人几个胆，他们也不敢攻打大隋天子。
宇文述则纯粹是揣摩透了杨广意思：这趟北巡就是为了扬威，怎么能因为可能的一点危险就认怂？
有了宇文述、李景、范安贵支持，杨广态度异常坚决：绝不回撤，继续向边境靠拢。
既然这样，其他人也就不再讨论撤退话题，而是共同谋划怎样加强皇帝安保工作。
北巡队伍就这么在汾阳宫住着。
……
6月19日，一小股突厥骑兵，大约500～600人，侵入楼烦郡地界，攻打岚县县城。
岚县是个小城，庞县令率几百守军奋力抵抗突厥人，同时派军信使出城到楼烦郡治伏戎城报警。
楼烦郡守阴世师不在伏戎城，郡尉派人护送岚城军信使到汾阳宫。
杨广命令左侯卫大将军范安贵率军前往岚城对付突厥骑兵。
范安贵是名老将，戎马一生，最喜欢打仗。
他听说犯边的突厥骑兵只有五、六百人，骑马从汾阳至岚城只需一日，便放下豪言：领一千轻骑，带两日干粮，收拾了突厥人再回来吃热饭。
他不知道，突厥骑兵攻打岚城是始毕可汗的计谋：围点打援。
始毕可汗的想法是看菜吃饭：隋军来一千，突厥骑兵就增加三千；隋军来一万，突厥骑兵就增加三万。
范安贵的人马刚到岚城附近，忽然被几千突厥骑兵包围。
没有多大意外，这位沙场老将和他的一千轻骑全军覆没。只有几人几骑逃出来报信。
范安贵殉国消息传到汾阳宫，这里的文武官员们顿时面面相觑。
苏威、虞世基一班人老调重弹，提议撤回洛阳。
阴世师、张瑾等人建议迁行宫去太原郡。
宇文述、李景等则主张征调附近郡县军队，组成集团军，陈兵突厥边境，然后发外交诏书，命令始毕可汗亲自前来给出解释。
争吵得一团糟时，8月初5，皇帝杨广下诏：全体收拾行装，向马邑郡（朔州）开拔。
马邑郡位于汾阳宫正北，距离140里左右，郡治善阳县（朔城区），郡守是王仁恭。
王仁恭很早就是正三品大将军，后来又加官文职正二品光禄大夫。613年第三次东征高句丽时，他担任二路军首领扶余道将军。
哪知他的亲侄子、虎贲郎将王仲伯参加杨玄感叛乱，成为叛军主力将领。
杨玄感叛乱被镇压后，王仲伯不知所踪，一直挂在朝廷通缉名录上。
朝廷查清王仁恭与王仲伯反叛没有直接关联。但王仁恭还是受到牵连，被剥夺大将军、光禄大夫官衔，发派边疆担任马邑郡守。
按隋朝官制，上郡郡守从三品，中郡郡守正四品，下郡郡守从四品。
马邑辖地很小，人口也不多，核定为下郡。所以，王仁恭现在是个从四品小官。