张杳一听李直回来了，喜上心头，可一想只有李直自己回来，又不知是何缘由，自己只能告诉自己路途遥远，找到了亲人也无法承受如此颠簸，所以才自己回来的。马上放下手中事心高彩烈地出了大帐，见到李直就往肩膀上来了一拳：“好小子，你还知道回来啊，此去一年，可见到我爹、我娘还有……”张杳一边说着话一边拉李直进大帐。
“少爷，我在高丽四处搜寻，找到夫人、小姐、小燕之时……”
“我爹呢？”没等李直说完，张杳就发现不对了，笑容已收敛起来。
“出海之时，遇到了强风大浪，老爷为了救大家，不幸落入海中……”
张杳顿时感到头晕目眩。李直赶忙扶住张杳，让张杳靠在边上休息。
“接着说。”张杳顿感无力，继续让李直说下去。
“少爷，节哀顺变，身子要紧。”
“接着说。”张杳有些生气、难过。
“夫人也在到高丽后忧郁成疾，都怪李直没有照顾好，在我到后一月追随老爷而去。”
“啊！”张杳又一次受到打击。
“小姐和小燕本随我而回，可路途艰难，她们说我带着她俩是累赘，三人根本无法回到中原，后趁我没注意之时双双跳崖而亡。少爷你骂李直一顿吧，都是李直不好。”李直说完也哽咽起来。
张杳被这一连串的噩耗压得喘不过气来，心头一阵阵地痛，抬手摁住胸口，半晌无语。过了许久慢慢抬起头看了看李直：“难为你了，人死不能复生，我只能替他们报仇，此仇当要算于赤眉头上，他日定要取樊崇狗头来祭。”
“少爷还要保重身体，李直随少爷一起杀了樊崇这狗贼。”
“此事勿要与他人谈起。迟早汉军将与赤眉军有拼死一战。此前我会好好留住性命，你也不用过于担心我。”
“少爷能有如此之想真是太好不过。”
“我当去为父母双亲、香儿、小燕建座立身之所。”
张杳重新振作精神，在营外隆起四座无尸之坟进行拜奉。可是李直却有些祭拜的不太自然。张杳只认为李直还在愧疚，便没说些什么。然后领着李直去见刘秀，请命前去孟津与冯异共同南征。
刘秀得知缘由后便让张杳率一万精兵前去孟津，一方面可与冯异共同南渡防守朱鲔，一方面可以趁赤眉与朱鲔交战袭击其后方。
张杳率领一万人马迫不及待地进军孟津，见到冯异后先了解当前形势，分析后二人商议觉得雒阳由朱鲔、李轶率三十万守军难以攻破，此二人见到张杳、冯异必会坚守，很难强破，需以智取。而此二人虽为发小，但为人处世方式完全不同，可使用离间之计，分裂二人，如此便可逐个攻破。朱鲔心志坚定，不易轻取；而李轶反复小人，眼光短浅。可以趁刘玄危难之际为其陈述祸福，从而让李轶与朱鲔离心。
二人定下计策，便由冯异起笔一封书信交往李轶处，劝其投降。
李轶收到冯异的书信后，深知刘玄必败，却怕刘秀因自己害死刘演而予以加害，犹豫不决。手下人跟李轶说刘秀刚建国，需招揽人才，且有宽大之心，定然不能加害李轶。李轶反复思量之后才回信欲与张杳、冯异修好，也希望二人能在刘秀面前给自己美言一些，给自己多留一条后路。
得到回信后，二人觉得事情可成。张杳又跟冯异商议在回信中说近日攻打上党下辖诸县、渡河攻取成皋，如若李轶不援，就相信其归降之意，也好在陛下面前称赞一番。
李轶心想这几处城池守将都是朱鲔手下，跟自己没什么关系，况且远在河水以北，自己若救也需北渡河水，远行分兵恐有失，也就答应了下来。
张杳和冯异稳住李轶后，趁势先把河北的更始军消灭了，所遇抵抗很弱，完全不是二人的对手，然后渡河攻打成皋，李轶依旧没有出兵救援。这下二人更是心中有底了，又把来往书信上呈给刘秀去看。
刘秀觉得二人此计甚好，但还不够，于是把此信公布于众。很多将领都觉得陛下此事做得不对，怎么能把这种私密公布出来呢。刘秀却有自己的想法：这样能够更加激化朱鲔与李轶的矛盾，让他们窝里斗。果然此招一出，朱鲔便坐不住了，觉得这个李轶反复无常，便派了刺客把李轶刺杀了，然后收编了李轶的军队，整合到了一处，又趁着刘秀北征农民起义军，张杳、冯异二人征战成皋以东之时派出大将苏茂领三万兵马渡河攻取河内，自己亲帅兵马进攻雒阳西北平阴来牵制张杳、冯异。
寇恂得知苏茂前来，速去送信于张杳。张杳与冯异商议让冯异带兵前去支援，自己留在平阴与朱鲔纠缠。
数日后，张杳所部战事吃紧，冯异与寇恂合兵战败苏茂后急兵渡河袭击朱鲔后方。受到前后夹击的朱鲔败退雒阳，依靠城池坚固闭门自守。张杳与冯异追至城下，绕城一圈以显示兵力强盛，耀武扬威然后才退去扎营等待时机。
二人再次上奏刘秀，刘秀得知消息后便派耿弇、陈俊驻扎在怀县东北的五社津，严防荥阳以东的更始部队救援雒阳，又命吴汉率领众军将前往雒阳城北受命于张杳，一齐聚于雒阳听从张杳调遣的还有大司空王梁、建义大将军朱祜、右将军万修、执金吾贾复、刺奸大将军岑彭、骁骑将军刘植、扬化将军坚镡、积弩将军侯进以及偏将军冯异、祭遵、王霸等十位将军为副将，张杳总领大军二十余万，全权负责攻洛阳事宜。
虽然汉军大将十出七八，但雒阳城池太过坚固，且城中守兵也略多过汉军，数月下来，仍然没能攻破雒阳，汉军诸将皆无办法，只有围困一招。
不久后坚镡带兵巡逻之时抓到一个敌兵，敌兵表示自己是奉城东守将之命，前来投诚的，而且可助汉军从东门而入。
坚镡把这事报告给张杳，张杳看到转机，便让坚镡继续跟进，自己召集大军准备战事。坚镡让敌兵回复守将可约定时间打开城门，最后约定三日后清晨开东城门接纳汉军入城。
张杳怕有诈，就让朱祜跟随坚镡一齐入城，如顺利入城后便在城东点起狼烟，示意大军攻城。二人得令后点齐五千兵马准备入城事宜。
三日后，坚镡、朱祜如约来到城东，稍适准备后果然看到城门大开，城中守将带着士卒出城迎接。二人便让降兵隐于汉军之中共入城门。
入城后，便开始进攻守兵，起初由于城中守兵并无准备，所以很顺利，可不多时闻讯而来的朱鲔亲自率兵与汉军作战。朱祜眼看形势不妙，就跟坚镡说不要点狼烟，以免大军有失。坚镡答应下来，继续冲杀。两军大战一个多时辰，最终汉军由于人数劣势，不得不退出雒阳。二人来报张杳，张杳好生慰劳二将与回归将士，让其好好休息，攻城之事再做他算。
朱鲔由于此次叛逃事件感觉周围会有越来越多的士兵动摇，如此下去雒阳迟早城破。心中很是愤郁。
岑彭由于自己以前在朱鲔麾下做过校尉，并且在跟着朱鲔平定扬州之时杀了王莽委派的扬州牧李圣，很是受到朱鲔的器重。于是来找张杳：“张将军，末将有一事。”
“岑大哥，请讲。”
“我本在朱鲔麾下为将，今日我军不能得胜，我欲亲临城下说予朱鲔，劝其降。”
张杳一想，数月以来汉军进展不多，如能招降雒阳，这也是一件大好事：“岑大哥重任在肩，如能成功，更是大功一件，我定当呈奏陛下。切记勿要以身犯险。”
“得令！”
岑彭得到张杳的同意便独自一人来到雒阳城下。城上守兵看见岑彭一人前来，也没放箭，问到：“城下何人来此？”
“原大司马麾下岑彭是也。请大司马说话。”
城上守兵去禀报朱鲔，不多时朱鲔便来到城上：“岑将军今日可好。”
“托大司马之福。”
“此来何事？”
“他日受大司马恩惠，吾常思报答，苦于身份低微，无以为报，今日两军交战，可与大司马分忧。”
“如何分忧？”朱鲔笑了笑。
“如今更始败亡，百姓皆归心于陛下，九州终能同姓，大司马何苦孤守此城？”
“时至今日，吾亦知矣，怎奈大司徒因我而薨，萧王北行亦吾所阻，如此之罪，如何投以父母？”
“大司马且等数日，末将愿于陛下面前请命，再做决断。”
“如此也好，可等岑将军消息。”
岑彭回见张杳，张杳确实不敢做主，要是别人也还好，自己能留住守将性命，可是这朱鲔可是大敌，自己不敢轻易许下承诺。就让岑彭亲自去见刘秀，看刘秀的意思。
岑彭来见刘秀把事情说了一番。
刘秀虽然痛恨朱鲔，却也觉得不能意气用事为了雒阳再有过多伤亡，应以大事为主，于是说：“夫建大事者，不忌小怨。鲔今若降，官爵可保，况诛罚乎？河水在此，吾不食言。”
岑彭得此言便回到雒阳城下又与朱鲔诉说。
朱鲔有些不信，让人放下绳索对岑彭说：“必信，可乘此上。”