诸葛亮在襄阳听得成都已然大乱，刘禅、关羽皆被刘封等人杀害，心痛蜀汉已亡，他十分惆怅与悲伤。他一连多日不曾吃饭，而且难以安睡，他已经消瘦了很多。他深夜挥泪写下一封信，令人于第二日晌午交给马良：“回想到先主昔日与我在草堂定下三分天下之策，后助先主赤壁打破曹操，镇守荆州让先主得以全部精力投入到征讨西川之中，如今已三分天下，可惜先主病逝，又因奸人叛乱，导致蜀汉灭亡，令我痛心疾首，恨未能助先主早日收复中原，引以为憾。我本效忠蜀汉，但刘封小人改立新国，益州荆州各郡亦或倒戈、亦或投奔曹魏东吴，蜀汉已亡，已难以继续完成先主匡扶汉室之的愿望。今携家眷、弟均等人归隐山林，不再复出。”马良见到此信后，赶忙要去挽回诸葛亮，但手下来人报：“诸葛亮于清早已经离开了襄阳，赵云将军也随诸葛亮一同离开了，一行人不知去向。”张卫得知诸葛亮、赵云皆已归隐离去，感觉自己陷入孤城，国已不在，悲痛欲绝。
自诸葛亮离开之后，张卫、马良、周仓、胡班等人每日依然操练士兵，安抚百姓，城中未有暴乱，兵士无一离开，百姓生活没有受到太大影响。
过了几日，有人来报：蒋琬与凌统将军前来襄阳有事求见。蒋琬、凌统告诉张卫、马良二人，孙权得知蜀汉内乱，令陆逊、吕蒙、周泰、程普等人率领大军逼近荆州，桂阳守将赵范、长沙傅士仁、零陵陈震均因为害怕东吴大军进犯而投降了东吴，他二人带领本部兵马和不愿投降的忠勇士兵一万余人投奔襄阳。张卫见如今益州、荆州都已经四分五裂，他提议：“我有一个建议，现在刘封篡汉，不得人心，益州、荆州有很多不愿投降的人，我们可以借此机会广募忠勇之士，充实自己的队伍，为日后早做打算。”众人皆认为可行，于是便发榜招募各地忠勇之士前来投奔，不过半月前来投奔者数以万计，其中包括原蜀汉大将邓芝，算上此前荆襄旧部，目前襄阳的部队规模竟然约十五万。人多了，自然是好事，但是怎么养得起这么庞大的军队，确实是个问题。张卫等人陷入了沉思，正在一筹莫展之际，忽有人献来曹操书信，曹操在信里写道蜀汉已经灭亡，念襄阳中的文臣武将都是蜀汉重臣，他本人非常尊重和器重这些人才，希望襄阳早日归降，否则大军进犯襄阳，到时候令他们尸骨无存。张卫看后，想到此前桂阳老者的建议，忽生一计，便与众人商议纷纷出谋划策，此计可退曹，而且还可解决军队供给问题。
不久曹操便收到了张卫的回信，张卫在信函中答复道：感谢魏王如此抬爱我等襄阳之众，不过襄阳城中兵力十万之众，粮草充足，如若魏王举兵来伐，我等必然拼死力战，如若不能战胜魏王，那也是两败俱伤。当今天下西蜀已然自乱，对魏王最大的危险不是我等蜀汉旧人，反而是东吴。望魏王洞察态势，切勿盲目行动导致东吴趁乱得利。此外，我等既不会降魏，也不降吴，我等自立为军阀。如若魏王信得过我等，我等愿出兵为魏国攻陷城池，攻陷之后，我等不占领城池。但攻下县城，魏王应当予以我黄金一万两，粮食一万斛；如攻陷州郡，魏王应当予以我黄金三万两，粮食五万斛；如攻占大型州郡，黄金粮食应再多增加，所需黄金粮食五成应事先安排人员运输给我们，其余部分事成之后给我们也不迟。魏王可派将领随我等出征。请魏王考虑。
曹操看后，和众人商议了一番，反对之声一浪接一浪，唯有程昱站出来选择支持，“魏王，如今东吴是我头号敌人，如若张卫等人可助魏王除掉东吴，且不用我军除一将一兵，只需耗费粮草金钱，岂不是好事啊。况且我军连年在北方和少数民族激战，劳民伤财，难以短时间内起兵南下伐吴。”
曹操听后沉思片刻，他知道张卫文武双全，武胜于其手下张辽、徐晃等人，曾在襄阳之战力斩许褚，足以见张卫有典韦般勇猛，而且张卫通晓兵法善于指挥，其帐下虎狼团曾是蜀汉精锐部队之一。况且身边又有凌统、蒋琬、马良等人协助，其实力不容小觑。
见曹操似乎有些动摇，程昱继续：“如若魏王担心，我建议魏王可先令张卫等人攻打随县，随县是江夏郡的门户，如张卫攻下随县且信守承诺，魏王可借张卫之手除掉东吴。”
考虑再三，曹操力排众议选择和张卫合作，先让张卫攻打随县，并派人向襄阳送去粮草和黄金。与此同时，曹操安排郭淮、刘晔二将派往襄阳，监督张卫的行动，要求他二人每日如实汇报。
话说回到此前张卫写信之前，他提出自立为军阀这个建议之后，众人都不太理解，他便详细解释了一番：“黄巾叛乱时，黄巾贼军曾扫荡我的家乡，因为我不愿加入他们，我被迫落草为侠寇，自带义勇之士在洛阳一带活动，部队中举一面大旗，上书“侠”字，自诩为“侠义”之军，专门剿灭黄巾贼兵，随未曾取得大胜，但小胜常有。因我当时十分年轻便有如此成绩，故大家常称我为小侠。后来董卓乱政，北方再次陷入战乱，我等屡屡通过征战讨伐贼寇军阀缴获兵器、钱财维持生计，在弘农一带曾名噪一时。现在又遇乱世，襄阳虽然乃荆州重镇，但毕竟规模有限，为了维持军队的正常运转，我们需要大量军饷、粮草。如今不能再像以前那般对贼寇强掳豪夺，我们不妨为他人征战，但不求扩大疆土，只求钱财和粮食。不知大家意见如何？”蒋琬听后，觉得此计甚妙，既可免遭曹魏征讨，也可维持自身生计。马良对此稍有疑虑：“莫非将军是想回函给曹操，说我等愿意为他攻城拔寨，他则需要支付我军饷和供应粮草给我们？这曹操会相信我们吗？”“季常问得好。我也曾担心。但我认为曹操平时非常爱惜人才，今书信之中已然看出他对我等不忍杀害，说明他相信我等有不俗的实力。此外，曹魏近年来在北方连年抵御外族入侵中原，自身耗损很大，难以抽出精力顾得上东吴，所以他也愿意借我们之手吞并吴国，而他则不损失一兵一卒，对他来说利大于弊。”蒋琬说道：“将军不妨写信给曹操，直接阐明咱们的想法，以表示我等坦诚之心。如若曹操愿意，他必然派人携粮草重金一同抵达襄阳。”
不久之后，张卫果然收到了曹操的回复，与书信一同到来的还有黄金、粮草，以及曹魏的两员大将郭淮和刘晔。张卫见大事已定，喜形于色，十分开心，他觉得这是一个很难得的机会，我可以于乱世中带兵征讨四方，闯南荡北，大展宏图，留名于世间。