回營的路上，劉均問劉曜：“大王看裴文約何如人也？”
劉曜苦笑道：“尚未知其能，然心若堅鋼，必不肯退出馮翊早知今日，當初便不允相助皇太弟了”
他不后悔自己再次西渡，來奪馮翊，不后悔發兵南下，攻打大荔，因為這些都是受形勢所驅使，不得不為之事。他懊悔的是不該聽從劉乂“清君側”之謀，倘若自己不奉其東歸，那大荔就不會丟啊，而劉粲也能全力在河南地區抵御裴該、祖逖，不至于把裴該放到關中來 當然啦，后悔藥是沒處掏摸去的，為今之計，也只有趕緊退兵，才能止損。劉曜返回營中之后，便即召集諸將，分派職司。
敵前退兵，不是一件容易的事情，不可能直接拔營啟程，掉頭北上尤其是城中晉軍尚未受到什么挫折，隨時都可能開城殺將出來。劉曜一方面派快馬去通知城西劉咸和城東呼延實，以及北洛水中游的宋恕、渭汭的呼延瑜，商定退兵時間一方面請劉均保護著輜重先期北歸，大將宋始則率部斷后。
劉均建議說：“叛賊北宮純尚游弋于外，輜重糧秣，當有騎兵遮護。”
劉曜撓撓下巴，心說這又是一樁頭疼的事情北宮純率“騏驥營”這些天里就一直在馮翊郡南部游蕩，多次騷擾胡軍的糧道，尋機劫奪胡軍的糧車，已經先后有三支運糧隊伍被他擊敗了，損失糧谷將近千石。劉曜曾派將軍尹安率軍追剿，可惜“涼州大馬”的奔跑速度實在太快了，一般騎兵跟本就追不上劉均嘗試設伏以待，但可惜平原之上，可資埋伏的地點太少，而北宮純嗅覺又很靈敏，就是不肯上鉤 劉均說了：“恐唯虛除騎兵，平野之上，可與涼州兵相拮抗，但不知已可用否？”
曹恂點頭道：“今伊余在我軍中，乃可以之為挾，豈有虛除不肯聽命之理啊？”于是劉曜就派大將趙慎挑選五千虛除騎兵，協助劉均去撤離輜重物資反正虛除將領早就都被他一鍋端了，全都秘密地挖坑活埋，人無頭不行，相信虛除兵不至于鬧出什么大亂子來。
劉均又建議：“平先甚勇，可使其衛護大王。”
劉曜說不用了，我又不是文弱書生，何必平先護衛？難道我身邊勇士還不夠多嗎？“可使平先歸屬宋始，為全軍合后。”
商議已定，計算各路人馬得到消息，整軍后撤的時間，就定在明日一早，劉均先發，然后中午時分劉曜再走，宋始的斷后兵馬則需要堅持到臨近黃昏時分。當然啦，營壘不拆，旗幟虛張，最好大荔城中根本就沒察覺到自己已經撤了，等探明消息，想追也來不及啦。
不過明天一早開拔，今日晚間“各營仍當嚴密戒備，以防晉人前來偷襲。”
這種重大計劃的布置會議，羊彝是沒有資格參加的，他還老實呆在工匠營里趕造“飛梁車”呢。其后得著消息，不禁大吃一驚，趕緊跑來見劉曜，說大王您怎么這就要撤呢？那我“飛梁車”不是白造了嗎？
劉曜說正好，不管你造成了多少具“飛梁車”，哪怕尚未完工，只要有輪子有板，似模似樣，那明天一早就全都給我推將出去，擺列在陣前，讓城上晉人看了，以為咱們即將發起進攻以此來打掩護。
“容叔勿憂，卿之功勞，我自然是記得的。”
一宿無話，晉人也沒有潛出來襲，只是于羊馬垣后擂鼓擊鑼，反復鼓噪，搞得劉曜整晚上都沒能睡踏實。等天一亮，他便下令“我軍也擂鼓！”假裝即將發起進攻，把羊彝新造的六具“飛梁車”全都推至營前，宋始的斷后兵馬則裝模作樣，列陣于左右遮護。
只可惜“智者千慮，必有一失”，他這招卻玩兒豁了，裴該得報登城而望，當即笑道：“劉曜今日，便將去矣。”
堂弟裴湛問他：“阿兄因何而知？”
裴該伸手一指，說你看啊“前彼將十具飛梁，來越城壕，而為我所破，若欲再攻，必更大造之。今尚不足十具，便推至營前，是故示我以將攻城，其實欲就此遠飏耳！”下令將各營正兵全都集結起來，隨時準備打開城門，掩殺出去。
胡漢陣營那邊，劉均走了還不到一個時辰，劉曜剛收拾好行裝，尚未動身呢，突然有快馬前來傳報，說：“晉人已渡渭汭，呼延將軍為其所絆，不得遽歸！”
劉曜不禁吃了一驚，忙問：“是哪里來的晉軍？”
“似是司州人馬。”
祖逖早就答應發兵北渡，以援護大荔城，但他本人還要鎮守河南，不可能輕易離開，便命李矩為主將、魏該為副將、馮龍做先鋒，率領步騎兵八千，浩浩蕩蕩進入弘農郡。梁肅不敢擋路，被迫提供部分糧秣、物資，恭送司州軍抵達華陰境內。
但還沒有接近渭汭渡口，盧志父便策馬攔住了李矩一行，并且奉上裴該的書信。李矩打開來一看，信里說劉曜雖然頓兵大荔堅壁之下，難以寸進，終究時日尚短，士氣未挫，這時候與之正面較量，殊為不智。而且目前大荔城防力量也足夠了，不必要司州軍再入城協防“還請暫駐渭南，候我傳喚。”
魏該見了，心中不忿，說：“既召我等來，卻又不容我等遽進，裴公是何意思？若不必我等相援，乃可退去”
李矩年歲較長，進入官僚系統時間也比較久一些，對于權威的認同感自然比魏該要強，他苦笑搖頭：“不可。我等雖受祖公轄制，可不必從裴公之命，但他終究貴為侍中、儀同三司，既有命，又焉敢不遵？且從其言，暫駐華陰，歇幾日再看吧。”轉過頭去問盧志父，說我們糧草帶的不多，你華陰一縣可能資供啊？
盧志父拱手道：“末吏已整備酒食，以款待幾位將軍。華陰糧不甚多，然供應貴軍半月之需，綽綽有余。”李矩說好吧，那我們就等半個月，半個月后若還沒有進軍的命令，我們就不等啦，干脆撤兵算了。
結果還不到十天，盧志父便帶著裴該的傳令兵來到司州營壘，稟報李矩、魏該，說：“裴公有令，說劉曜不能克大荔，行將北遁，是其氣已為我所奪也。當此際，貴軍正好北渡，以薄胡軍側背。”
李矩雖然駐軍華陰，但并不是兩耳不聞渭北事的，他也多次派人秘密前往大荔附近探查，知道大荔城確實防守得很嚴密，胡軍攻了半個多月，竟然連城壕都沒能填平既然如此，說劉曜打算閃人，可能性很大啊。當即喜道：“既有裴公之命，我等明日便攻渭汭還請盧令整備船只，助我北渡。”
從大荔城南門出來，渡過北洛水，再渡過渭水，抵達華陰，也不過五十多里路程而已，快馬不用一日，命令便可傳至司州軍中然后司州軍準備準備，發兵北渡，估計也得一天左右。所以裴該是掐準了日子的，這才答應劉曜三日后城前相見。
渭汭對面，是由胡將呼延瑜統率的五千兵馬，受命來封堵渡口，防備司州援軍進入馮翊。前一日晚間，呼延瑜也接到了退兵命令，于是整理行裝其實他來了沒幾天，營壘尚未完全，也沒什么可收拾的等到天明，便待北歸。只是天剛放亮，胡軍尚未啟程，忽見渭水上無數船只破浪而來。呼延瑜一開始并不在意，招呼士卒：“且先擊退晉人，我等再行不遲。”
因為他在渭汭駐扎的這幾天，經常會有船只從南岸航來，朝岸上放箭，騷擾自軍陣營全都是盧志父麾下臨時招募的華陰兵，數量不多，也就五六百人而已。
呼延瑜受命防止晉人北渡，盧志父同樣受命防止胡軍從渭汭南渡，但他兵馬雖少，卻有華陰城池為憑，又來得比較早，準備充分，通過梁肅相助，搜集了不少的船只基本上來說，在大荔以東直到黃河拐彎處，就沒給胡軍留下一條船來，這也是胡軍曾經嘗試突破渭汭，卻未能成功的重要原因。
胡軍南渡的嘗試，還是在劉曜來攻之初，遣將率數千人，欲自渭汭而下弘農，結果因為找不到船，反被盧志父放舟騷擾，未能建功。其后大荔城下之戰，胡軍屢屢受挫，接著東門外大營還被端了，劉曜實在沒有精力和信心開辟第二戰場，也就把那支部隊主動撤了回去。然后此番再遣呼延瑜來，主要目的只是防守，而不再圖謀進攻了。
盧志父對此自然并不清楚，見對岸又有胡軍到來，便即屢屢放舟前去騷擾，以攻代守，防止胡軍南渡。其實他完全不用怕，華陰境內還有司州軍七千之眾呢，但裴該既然賦予他守備華陰的重任，能夠自己解決問題，總比再向李矩、魏該求救為好啊。
華陰的船隊幾乎每天都要往北岸放個一兩次，時間不定，或晨或午，甚至于臨近黃昏，呼延瑜都司空見慣了。故此并不以為意，只遣弓箭守列陣于渭河北岸，準備與晉船對射。
可是才一交兵，就覺得情況不對啊，晉船上飛來的箭矢較從前多了一倍還不止并且原本船只并不攏岸，對射一陣，便即飏去，這回卻冒著己軍的箭雨，頑強前行，眼看著就要靠近北岸了。呼延瑜這才意識到不妙，急忙出營觀看，只見晉船上盡是司州軍的旗幟，正中一面，上書：“冠軍將軍河南尹李。”
呼延瑜急忙調動步騎兵結陣抵御，心說怎么這么巧啊，我才剛要走，晉人的援軍就到了他可不知道裴該是掐著時間點下令的，而李矩、魏該蟄伏華陰將近十日，人心思戰，所以才一大早就不管不顧發起了進攻就此慢了一拍，司州軍的幾條船只已經靠上了北岸，一將手執長刀縱躍而登，奮勇殺散胡軍弓箭手，正是原“乞活”驍將馮龍。
實話說，敵前登岸不是那么容易的事情，倘若呼延瑜嚴加防范，既沒打算走，也沒誤以為晉人只是騷擾，司州軍未必能夠那么快便即沖上北岸來。
呼延瑜眼瞧著晉軍來勢洶洶，知道很難再將其封堵在渭水之中了，只得勒束部眾緩緩后退，依靠從前的營壘御敵，同時急遣快馬趕往大荔城北，去向劉曜稟報。劉曜聞報，不禁吃了一驚，就問曹恂：“何以晉人援軍，此時急至？”這是巧合嗎？這不大象是巧合吧 曹恂回答說：“若為索綝、麴允兵馬，還則罷了，既是司州祖逖所部，必然悍勇，恐怕呼延瑜難以抵御。為今之計，只得暫緩撤兵，急命城東呼延實往救，而大王當另調兵馬，前拒城東。”
劉曜想了一想，緩緩搖頭：“我誤矣必是昨日城下之會，裴該見我已生退意，乃急請祖逖發兵增援，以牽絆于我”再想一想，貌似時間對不大上不管了“今糧秣、輜重已行，軍令已下，若滯留不退，只恐士氣更為蹉跌，再無幸理。所謂當斷不斷，反受其亂只得棄呼延瑜而保障主力了。”當即下令，按照原定計劃，主力趕緊后撤。
大白天的浩浩蕩蕩拔營起程，不可能悄無聲息，即便偽裝得再好，只要對方預先有了準備，想要察覺蛛絲馬跡并不為難。因而劉曜主力才動，裴該在城上就望見了，當即下令：“出城，追擊！”
其實他早就想追了，但陶侃提醒說：“劉曜宿將，必不輕動，今晨所去者，必其輜重后隊也，我若往追，反遭逢其主力，難免惡戰。不如待其主力動時，再追不遲。”所以才一直等到了這會兒。
裴該穿戴整齊，下得城來，跨上戰馬，忽見妻子荀灌娘率一眾家奴端立于側。裴該就問了：“大軍將行，卿來何為？”荀灌娘笑一笑，回答說：“特來為夫君壯行。”隨即從家奴手中接過一盞酒來，雙手奉于裴該：“唯望馬到功成，踏盡胡賊！”
