袁煕，袁尚投奔乌桓之后，高干率并州一众降于曹操，曹操仍以其为并州刺史。高干，人如其名，十分能干。在袁绍任人唯亲下，四个儿子驻守在外却只有老大袁谭、老二袁煕，其次便是高干这个非子嗣。可见，高干之能力。尤以在官渡之战、苍亭之战、关中征战后，溃败的袁绍军团中以高干的军队保持得最为完整，精锐部队仍有五万人，作战能力很强。当时，袁谭，袁尚，袁煕谁又打的过他，自立是必然。
建安十年四月，继高干投降以后，势力盛于一时的黑山军首领张燕亦率其众十余万人投降曹操。曹操封其为安国亭侯。黑山军说强不强，说弱不至于。自黄巾起义爆发至今已有二十一年，黑山军前身便是黄巾军，生存能力可见一斑。董卓未能剿灭，公孙瓒未能剿灭，袁绍未能剿灭，曹操未能剿灭。反而，黑山军与各势力处于一种合作与对抗的微妙状态。
曹操在得到黑山军后，便感怀十三年前收编青州黄巾军时，实力爆涨的时候。那时，曹操三十七岁，凭借青州军刚刚发家。而如今十数年已过，曹操已然半百知天命的年纪，坐拥北方大半。
在张燕投降后，曹操特意叫来张燕，问他今后这帮兄弟交给谁？十余万黑山军的安置，曹操也是很难有所决定。想当年收编青州军七万，遣散三十万余万，三十多万人的安置，仅仅据有兖州的曹操当年是任自离去。如今北方都是曹操的，任自离去不可能。
黑山军首领张燕只是说道，“这帮兄弟对我很仁义，然而随着时间的流逝，我们更像一伙土匪，背离人德，无人相投，便会一步步走向末路。当然，走向末路还很遥远，这个时间还很早。但就如今黑山军中，十数万的兄弟和他们的家人，我不能给他们安稳的生活不说，也不能保证他们的生活物资。我什么都做不到，在如今北方，曹公必将代表朝廷统一北方，所以我愿投降于你。”
曹操表面夸赞道，“真义士也。”心里则道，不是你张燕势力不够大，而是你落草为寇，倍受排挤。因为你不是世家子弟，上不得政治台面，追随你的不过是乌合之众。因为你不是世家子弟，占据城池，却无能治理，最后只不过昙花一现。终要投靠世家，借此洗白自己的贼兵身份。不尽让人唏嘘那个时代，军阀是世家的走向，贼寇才是百姓的命运。
当时，袁煕、袁尚委身于乌桓之中后，希望借助乌桓的实力，“复图中原”。而乌桓首领蹋顿亦希望借助二人的声势，笼络汉族民众。当时，袁尚、袁熙兵败后，胁迫冀、幽二州军民十余万户投奔蹋顿。蹋顿得以指挥乌桓和汉族人口多达30余万，史称蹋顿“以雄百蛮”。
同年夏，幽州动乱，乌桓来袭。辽西、辽东、右北平三郡乌桓攻略犷平，围攻左度辽将军鲜于辅（原幽州牧刘虞从事，后官至辅国将军）。鲜于辅不敌，请求曹操派兵相助。然而曹操还没来，幽州涿郡人赵犊、霍奴等聚众起事。时任幽州刺史的焦触，不敌被杀。
是秋，接到急报的曹操亲自率军进讨，击斩赵犊、霍奴等人。接着，渡潞河，援救犷平。鲜于辅与曹操里应外合，乌桓不敌，逃奔出塞。这年十月，高干乘曹操征讨乌桓之机反叛，执押上党太守，派兵屯守于上党郡治所壶关，防备曹操。曹操欲追击乌桓，却得到后方生变的消息，高干反了，曹操率军返回许都。
同时，河内太守张晟，率众万余人，起兵以应高干，并屯兵渑间，交连刘表，弘农太守张琰亦起兵以应。为防止河东继而生变，河东太守王邑被调往许都，原西平太守杜畿接掌河东，然河东郡掾卫固率兵以应高干，杜畿不能上任。关西生变，司隶校尉钟繇上书，“曹公勿忧，关中有我一人足矣。”同年，钟繇率领马腾等军阀，十分顺利的剿灭三人叛乱。
可见，钟繇镇关中，为曹操省了多大的心，换任何人也做不到，帐下五大谋士程昱、荀彧、郭嘉、荀攸、贾诩，只是谋士。领出来镇守一方，程昱可守一地，荀彧可安民心，郭嘉则不能治，荀攸则会是诸侯，贾诩则是自保不能治。若叫他们震慑关中，实无力也。只有钟繇，才是司隶的老大。
而面对此次反叛的主力――高干，曹操遣大将乐进、李典进击。高干拒壶关而守，曹军不能进。壶关，据太行而设险，南有天井关，东有壶关口和壶口关，地理形势十分优越。面对这种天然的守关优势，乐进也是叫苦不迭。虽然，连搠高干，连斩了高干几名大将，依旧攻不破关口。
高干据关退守以后，乐进、李典二人更是毫无办法。任凭叫嚣辱骂，就是不出关。任曹军筑土城居高而攻，还是挖地道以潜攻，高干自是岿然不动。三月以来，久攻不下，曹军疲惫。而高干的并州军势气依旧旺盛，有充足的粮草接应，何惧久战？曹军都生出退意，奈何后方曹司空严命，只得相持于壶关口，双方尽皆按兵不动。
壶关围而不下的消息使曹操很是焦急，曹操问计郭嘉如何，郭嘉说道高干必须铲除，否则无法进军乌桓，进而攻灭袁氏，统一北方。曹操听之。遂于建安十一年春节过后，曹操便亲率大军北上太行山，决心攻下壶关这个堡垒，拔掉高干这个横在他统一北方道路上的这颗钉子。
曹操从邺城起兵，途中要经过太行山的羊肠坂，道路十分艰险。他的乐府诗——《苦寒行》就是在这个时候写的：
北上太行山，艰哉何巍巍！
羊肠坂诘屈，车轮为之摧。
树木何萧瑟，北风声正悲。
熊罴对我蹲，虎豹夹路啼。
溪谷少人民，雪落何霏霏。
延颈长叹息，远行多所怀。
我心何怫郁，思欲一东归。
水深桥梁绝，中路正徘徊。
迷惑失故路，薄暮无宿栖。
行行日已远，人马同时饥。
担囊行取薪，斧冰持作糜。
悲彼《东山》诗，悠悠令我哀。
一路艰难，一路悲苦，尽在诗中展现。待曹操到了壶关口，命人叫来乐进，“你知不知道，你为什么攻不破壶关么？”乐进道，“不知。”曹操接着道，“你不会用计，只会听命行事，驰骋沙场。于是，我便来了，早知道应该让奉孝或是公达跟着你们，就不会如此之久，破不得壶关。”
不久，曹操召集文武于壶关，“他高干不是厉害么，臧霸、钟繇都败过他，投降了又反复，真是找死。待城破之时，尽皆坑之！”曹仁连忙进谏说：“围城，一定要给敌人留下一道活门，以表示他们还有生路。而现在，明公下令城破后，他们一定得死。他们被您逼得没有退路，人人都会拼死防守。加上壶关城池坚固，城中粮草尚多，壶关易守难攻。况我军奔袭千里，以疲惫之师去攻，恐怕我军胜了也是惨胜，更多的可能是僵持不休。明公，三思啊。”
曹操闻言猛醒，随即收加成命，又问计于荀攸，荀攸献了诈降之计。曹操采用了荀攸的计策，命降将吕旷、吕翔诈开城门，入城后对高干说：“我们原来也是袁公旧将，不得已而降曹。现曹操新到，军心未定。我等愿助将军一臂之力，今夜前去劫营，曹军不防，定可成功。当然，事后我二人也要扩土自立，还望将军成全。”高干听了以后，以为这两人与自己一般，想要自立遂同意联手。当时自己再灭了这两人，毁了他们的白日梦。
然而高干没想到，这是曹操的计策。是夜，高干亲率精兵万余前去劫营，却发现是空营。高干大呼上当，面对曹军的包围，高干当机立断，临阵斩杀吕旷、吕翔二个诈降之人，以震军心。然而在绝对实力面前，高干所做的不过是铲除了两个人，对于大局毫无影响。高干叹气道，估计壶关也被人夺取了，高干只好率军冲出重围，投奔匈奴而去。于是，曹操攻破壶关，势如破竹拿下并州大部。
而投奔匈奴的高干，被匈奴拒之门外。高干，你不记得，你当年把南匈奴单于给坑了么？高干只得另投荆州刘表，半路上被上洛都尉王琰所杀，王琰将高干的首级献于曹操，曹封王琰为列侯。
建安十一年三月，曹操平定并州后，以别部司马梁习为并州刺史。梁习，面对时经战火，残破不堪的并州，首先解决拥兵自重，对于朝廷不服从的少数民族势力。梁习学习钟繇处理关中诸将的办法，仿用其策。先以礼待之，再以兵讨之。招募各族豪强，担任朝廷职务，征召勇士入伍，建立军队。待政事与军事全部走上正轨，便开始利用兵力威逼，遣各族豪强之家属入邺城为质。有不从命者，则发兵征讨，前后斩首千余级，招降万余人。
在梁习刺史的“礼与兵”的处理下，并州境内的少数族问题得以解决，各单于无不拱手服从，其部落民众尽从事生产，形同汉人一般躬耕农桑。于是，并州形势大为改观，百姓安居乐业、境内清平、秩序井然，并州大治。为曹操统一北方打下了坚实基础。