更让他心寒的是脚下这座衡阳城的人心，衡阳城的民心居然在那群逆贼那边。
靖港一战后，咸丰失去了对曾国藩的耐心和信任，斥责曾国藩牛皮吹得震天响，朝廷在湘勇身上花了如此之多的钱粮，湘勇仍旧一胜难求也就罢了。居然还有脸咬文嚼字，把屡战屡败说成屡败屡战。
朝廷便不再给曾国藩倾斜粮饷，将原本用于湘勇的粮饷用在了更可靠，更值得信赖的楚勇、广府兵身上。
朝廷不调拨粮饷，湘勇还是要继续养，自那以后，为筹集军饷、立威地方、
震慑进剿湘南会匪、游匪。
曾国藩便对衡州、永州两府横征暴敛，连过境的商贾都要雁过拔毛，设置厘卡征收厘金。
衡州府、永州府本就受战乱影响严重，经过湘勇这么一折腾，更是百业萧条，民生凋敝，哀鸿遍野。
湘勇在衡州府、永州府民心尽失。
衡阳城中百姓看湘勇的眼神，冷漠中藏著敌意和仇恨。
曾国藩想起两个多月前，湘潭失守的消息传到衡阳时，衡阳城中的居民非但没有感到恐慌，反而幸灾乐祸，拍手称快，一副好日子要来了的样子。
他安插在衡阳城的密探曾惶恐地向他禀报过，市井之间有百姓私下议论，说什么北殿天军圣兵为何不一鼓作气打过来、打下衡阳才好、到时候必箪食壶浆以迎天军圣兵等话语。
这些话语，如同一根根毒刺般扎在曾国藩心上。
他深知，一旦短毛兵临城下，这衡阳城的百姓，绝不可能像长沙民壮那样帮助他们湘勇守城，反而极可能成为内应，从背后捅湘勇一刀！
「涤生。」
一直沉默地坐在下首的罗泽南开口了，此刻的罗泽南早已没了初办湘勇时的意气风发，而是一副眉头紧锁的模样，罗泽南语气沉重地说道。
「长沙危在旦夕，湘潭已失，衡阳已成孤悬之地。城内民心背向我湘勇，军中亦是军心惶惶，我们的粮秣军需也难以久持。
短毛挟大胜之威而来，必锐不可当。以我湘勇现今之力，据城死守，无异于以卵击石，更于大局无补。」
言及于此，罗泽南顿了顿，偏头看向曾国藩，继续说出了他的想法：「为今之计，当避敌锋芒，保存实力。衡阳难守，亦不必守。
我们应早做打算，趁短毛主力尚在长沙，尽快将能带走的粮饷、军械、精锐士卒撤出，退往湘南更为偏远险要之处，或直接南入两广，联络桂抚粤督，再图后举。留得青山在，不愁没柴烧。」
罗泽南不仅认为衡阳不能再待了，连湖南都不能待了。
天时不再他们这边。
至于地利，短毛发逆入湘之时，打下过零陵、衡阳，他们所在的衡阳城，城墙被罗大纲以穴地攻城之法破过，城墙墙基受损，短毛现在攻城经验比起刚入湘时更加丰富了，要毁坏根基不稳的衡阳城城墙，破城而入只会比第一次攻打衡阳城时来得更加容易。
人和么，衡阳城里的百姓，一百个里恐怕都难找到一个站在他们湘勇这边，支持湘勇的。
天时地利人和都不在他们湘勇这一边，衡阳城压根没法守。
罗泽南希望曾国藩能早做决断，撤离湘南，要是等短毛打下长沙，可就来不及了。
现在的粤督是原广东巡抚叶名琛，前任粤督徐广缙去年便被调往江南就任更烫屁股的两江总督。