张卫和关羽一行人回到襄阳后，休整多日，诸葛亮谋划再次渡江攻打曹操，命关羽打先锋，让他立功赎罪，但关羽却以有伤为由不愿出战，并提出曹魏新野有重兵把守，不论是谁都很难攻破曹魏的防线。关羽这番话让诸葛亮等人很是惊讶，众人皆是认为关羽在新野吃了败仗，士气锐减，且十分惧怕曹魏，故不愿出征。诸葛亮见这般情景，只好暂时放弃了渡江的计划。与此同时几位乔装成普通百姓的士兵混进了襄阳城中。

　　一日，周仓在襄阳城中巡视，忽然听到周围很多百姓都在议论关羽新野战败的事，他派手下前去打探，结果令他大吃一惊，他赶忙向诸葛亮汇报：“我今天在街上听到百姓在讨论关将军新野一战的事情，百姓们说是关将军在新野奋力厮杀，但无奈寡不敌众吃了败仗。张卫将军前往支援的时候，发现关将军已被曹操俘虏，因为关将军答应曹操一年之内不让我军渡江攻打曹魏，曹操才放他回来。张卫将军害怕关将军报复他，便不敢开口，但张卫将军手下都知道关将军和曹操立约这个事。”诸葛亮听后，紧皱眉头，联想到关羽此前一直不愿出征新野，也劝说众人不要攻打曹操，陷入了沉思之中。

　　老百姓三言两语，事情便不胫而走，传到了关羽和张卫那里。关羽得知后，十分震怒，万万没想到张卫竟然发现了他和曹操之间的约定，而且还敢把这件事情捅了出去。张卫听后感觉此事十分蹊跷，他并未见过曹操，而且接到关羽的时候，他连一个曹操的追兵都没见到，所以他怎么能知道关羽和曹操之间有什么约定，他甚至不知道关羽是被放出来的还是自己突围出来的，之前他还相信关羽是突围出来，但是现在他对关羽产生了深深的怀疑。

　　诸葛亮赶忙分别和关羽、张卫进行了沟通：关羽坚持自己是突破重围，根本没有什么俘虏之说，更没有什么和曹操立下约定；张卫则是表示他见到关羽部队时候，连个曹兵都没见到，所以他根本不可能看到关羽和曹操私下交流，所以他不可能是谣言的始作俑者。诸葛亮分别和二人交流之后，他笑了笑，心想这必是曹操的计谋，关羽定是被战败被俘虏或者险些被俘，曹操以让他劝说蜀汉不渡江为条件放他一条生路，但曹操为人狡诈，故意派人把和关羽达成的约定散布出来，但却包装成是张卫将军污蔑关羽，造成我军内部将士不合，真是毒计啊！他料想刘备必然很快也会知道此事，便赶紧把情况真相写了下来，并差人送去成都。

　　果然没过几天，刘备便知道了这件事情，便让亲信之人调查这件事。后来他接到了关羽的密信，关羽在信中十分诚恳地承认了此前在战场上的指挥错误导致未能攻破新野，但关羽在信中坚称是张卫恶意诬告，民间的传说都是子虚乌有。见到这封信后，他对张卫非常失望，正要下令革职法办的时候，诸葛亮的信到了，他看后大彻大悟，原来是曹操小人故意害我将士，本来刘备打算大事化小，小事化了。但身边的庞义却提醒他：“望主公在这件事上多三思，此事关系到关将军的名声和威信，希望主公能还关将军以公正，避免关将军被百姓误会。”刘备一听，确实有道理，不能让自己的兄弟受苦，于是便下令：任何人不准在妄议关将军，关将军一心为蜀赴汤蹈火，视曹贼为一生之敌，新野一战奋力厮杀突破重围，并未与曹操有任何约定，张卫凭空捏造故事，有意污蔑关羽，念他此前攻打江州、襄阳有功，免去杀头之罪，但罚俸一年，取消他虎威将军的官职，贬为校尉。”

　　得知自己被陷害，而且还被贬为校尉，张卫心里十分愤怒，打算回成都当面向刘备澄清此事，但是却被诸葛亮拦下，让他放弃这个想法，如果真去了成都，说不定结果更糟糕。诸葛亮再三劝说张卫，让他向韩信学习，大丈夫要能忍受一时屈辱，况且张卫文武兼备，未来定能在战场上为自己正名，而且他也相信张卫不会肆意污蔑关羽，这必是曹魏计谋。回到家中张卫依然十分郁闷，追随他多年的虎狼团的将士们纷纷为他鸣不平，当晚他们欲杀了关羽，但张卫拦住了他们，让他们沉住气不能自乱阵脚，否则正中曹魏之计。拦住将士之后，张卫独自一个人转身往家走去。

　　第二天，诸葛亮通知张卫，鉴于不久前新野大败，部队尚需恢复元气，近期不安排出征，让他暂且去桂阳休息几日。张卫问道：“手下部队可否随往？”“梦龙无需担心，只是去桂阳放松放松，我弟诸葛均会在桂阳接待你的。待你修养的差不多，要尽快赶回襄阳，我们还有大事要做。”于是张卫便回家收拾行李，带上两三手下骑马离开了襄阳。