李过的提议便是向西南撤军，现下这种情势，退往贵州倒是一个不错的方略。贵州处于西南边陲，虽然贫瘠，但地形复杂多变，历朝历代，对于贵州的统治和管辖力度都远远的逊于中原各省，加之民族众多，因此变乱层出不穷。
崇祯朝末年，随着中原局势的动荡，加上吏治腐败这个愈演愈烈的老问题，贵州的局势也随之变得复杂和骚动起来。崇祯十四年的时候，朝廷曾经委任吴芳涟作为巡抚督抚贵州，但由于中枢的方略不定以及卫所兵制的崩溃，使得局势不禁没有得到改善，相反还有进一步恶化的趋势，朝廷也逐渐失去了对于贵州的控制。
如今，像是赤水卫、毕节卫、普安卫、新添卫、铜鼓卫这些偏远的卫所已经名存实亡，实际的掌控权都已经落到了当地各族土司的手中。
因此，以大顺军目前的兵力，如果向贵州进军的话，如果能与当地各族土司衙门积极联络，倒是未尝不能在当地站稳脚跟的。假如李自成能够改变自己的方略，励精图治，掌控贵州的话，大顺也能得到一个相对稳定的休养生息、恢复实力的机会。
最重要的是，白旺经营湖广期间，与湖广西南的永顺宣慰司、散毛宣抚司、忠峒宣抚司等当地的土司各部相处的极为融洽，这也为大顺军向西南撤军提供了一条便捷、安全的通道。
眼下尤为关键的是，时间不等人啊。仓促退入湖广的大顺军建制混乱，从将领到士卒完全没有从一连串的失利阴影中走出来，军心厌战，这样的状态怎能抵挡满清和明军的两路夹攻。
明军南路郑芝豹的兵马已经抵达大通湖，郑军水师数百艘舰船扬帆待发，郑芝龙的大军也已经攻克应城，前锋甚至已经逼近京山。而北面多铎的人马在攻陷吉阳关之后，已经隐隐对竹山一线的顺军形成了包夹之势。
这样的局面，逼得李自成不得不下大了向贵州撤军的命令。于是，在襄阳喘息未定的顺军主力，不得不再次踏上了奔逃的道路。
作为殿后的主力、李过统领着麾下的两万兵马会和当地的白旺所部，掩护大军南撤。
李过和白旺也很清楚，死守襄阳，已经是死路一条，也因此，李过在李自成出城之后，接手襄阳府防务的那一刻，便对麾下全军发布命令，不愿留在襄阳死战的士卒，包括将领，大可以现在就各自散去，主将绝对不会以临阵脱逃的罪名惩处。镇守襄阳，将面临南北数路敌军的夹攻，李过和白旺也不愿意让麾下的士卒白白送死。
但命令发布之后，李过麾下的老营左营和白旺的原襄阳驻军却是无一人离开，两人感慨唏嘘之余，立刻便开始对于防线的布置和修筑。
而李自成也找不出了许久未曾穿过的皂袍、披风斗篷以及标志性的闯王毡帽，重新披挂在身上，希望借此一身装扮能够找回曾经的好运。
大顺军的十万大军由襄阳作为起点，开始了南下的茫茫艰辛旅程。其中的战兵不过四万，其余的则都是顺军的家眷，男女老少，扶老携幼，一起带着忐忑的心情跟随着顺军大队向着一个并不熟悉的地方前进，队伍浩浩荡荡，行军速度也慢的出乎意料。
主力的缓慢行进，给阻击部队造成了巨大的压力，如果不能加快速度，已经到达大通湖的郑芝豹所部就将直插施州卫，截断大顺军主力南撤的路线。局面变得万分紧急。
无可奈何之下，李自成只得忍痛抛下六万多顺军家眷和大批的辎重、车马，带着两万多精锐老营士卒向着西南方向狂奔。
十五天之后也就是八月二十二，李自成中军终于抵达渔洋关，施州卫的崇山峻岭近在咫尺。
此时的李自成已经完全顾不得处处烽火的湖广地盘，顺军各部将领都在为李自成的撤退争取时间，施州卫五梁下峒司的使者也已经来到渔洋关与顺军汇合，他将带领顺军沿着五峰山的山间小路进入施州卫，只要进入施州卫的大山深处，身后便是有再多的追敌，又有何惧。
一路的狂奔，让顺军上下疲惫不堪，老营本身的编制也变得混乱不堪，李自成所部需要在进入施州卫之前，对所有的部队进行一次重新的整编和休整，才能确保接下来的行军顺利。
但收到的军报却是让顺军上下根本没有喘息的机会。何腾蛟和袁继咸已经合兵一处，突入常德府，大顺军常德守将不战而降。何袁联军已经从南面威胁到岳州府和施州卫的安全。
李自成惊恐万状，不得不在到达渔洋关的当天，便再次下令立刻向施州卫五峰山开拔。
刚刚抵达渔洋关不到半天的时间，大顺军士卒好不容易喘上一口气，却是又接到了进兵的命令，一时之间叫苦连天、怨声载道。但在将领的催促和威胁下，士卒们也只能心不甘情不愿的再次披挂起来，整军出发，但行进速度却是大打折扣。各部号令混乱，乱糟糟的出了渔洋关，等到进入施州卫的重重山岭之间后，更是混乱不堪。将领找不到麾下的士卒，士卒找不到自己的主官，各部各营混杂在一起，追兵未到，顺军老营这边自己却是首先乱了起来。
高皇后是跟随李自成戎马半生的妻子，久在军营，虽然同样疲惫，但还是一路咬牙跟随了下来。李自成出襄阳的时候，下令将从京师带来的妃嫔、姬妾等全部斩杀，以此来表明自己决意振作、东山再起的决心。
等到达五峰山山区的时候，李自成的身边也只剩下义子张鼐、高皇后以及两千多老营的亲军。因为山高林密，其余各部明明就在左近，但却是失去了联系，但因为仓促进兵，这也是没有办法的事情，李自成只得派出大批的探马信使，按照不同方向搜寻，通知各部各自前行，在五峰石宝司的治所峰山城汇合。