整个关中地区已在曹军占领中，曹操到达长安，在此略作休整，随即进军汉中。
由关中到汉中必须越过秦岭，最便捷的通道是穿越其中的几条栈道，著名的栈道有三条，自东向西分别是子午道、傥骆道、褒斜道。这些道路穿行于大山之间，虽然路途最近，但崎岖难行，又容易遭遇伏击，在准备仓促的情况下曹操决定放弃。那就只有一条路了，就是绕行大散关。大散关是关中四关之一，位于今陕西省宝鸡市南面的大散岭上，是由陕西进入四川的要道，号称“川陕咽喉”，当年刘邦“明修栈道，暗度陈仓”就是走的这里，现在曹军进攻的方向刚好相反。
建安二十年（215）4月，曹操率军抵达大散关，到了一看，路也很难走，曹操写了一首《秋胡行》，记录行军的艰辛。不仅行军艰难，还遇到了氐人发起的叛乱。曹魏新置的雍州刺史部辖下有不少氐人，曹操率军南下汉中时氐王窦茂突然起兵反叛，他们聚集一万多人，占据汉中以西的武都郡一带峙险不服，曹军如果继续南下，氐王就如同顶在背后的一把刀，这不是小事。
曹军不得不停下进军的步伐先解决氐人问题，他派张郃、朱灵率所部在雍州刺史张既的配合下攻打氐王，窦茂退守河池，即今甘肃省徽县一带。曹操下令猛攻，于这一年5月将河池攻破，曹操下令屠城。
屠城虽广受诟病，但也的确对敌人造成了强力威慑，有一个记载说当时韩遂所部还在雍州刺史部境内活动，韩遂的部下麹演、蒋石等人把他斩杀，把首级呈给曹操，如果这条记载准确，韩遂死时就已经70多岁了，起兵至今超过了30年。
还有一个叫刘雄鸣的，是关中人，李傕、郭汜作乱长安时隐入秦岭山中，很多人依附他，形成一股强大的势力，慑于曹军的威严刘雄鸣主动前来拜见，曹操很高兴，对他说：“我刚进关，就梦到一个神人，该不会就是你吧？”曹操任命刘雄鸣为将军，让他召集部众随同大军行动。刘雄鸣其实就是秦岭山中的土匪，这些人自由惯了，并不喜欢被招安，刘雄鸣在部下的鼓动下再次反叛，多达数千人，占据要道，曹操派夏侯渊前往讨伐，刘雄鸣率叛军余部逃往汉中。
汉中的西邻是雍州刺史部武都郡，郡太守名叫苏则，字文师，关中人，举过孝廉、茂才，才能品行都不错，曹操在行军路上召见了他，对他的工作很满意，让他带人担任大部队的向导。
这些事一耽搁，就到了夏天，麦子成熟了。张既、苏则等组织民众就地收获小麦，加上从关中调来的粮食，军粮供应就不成问题了。这时大家才明白，原来丞相这么急于进军汉中，时间都是算好的，如果晚来一两个月，收麦子就赶不上了。
有粮食还要保证运输，雍州刺史部地广人少，曹操命长安特别市市长（京兆尹）郑浑、河东郡太守杜畿等人征调运输队来前线负责运输，杜畿迅速征调了5000人亲自带往汉中前线，虽然跋山涉水、远离家乡，但大家士气很高，没有一个人逃亡，大家都互相勉励：“人都有一死，宁死也不能辜负杜太守！”
7月，曹军主力进抵阳平关。
阳平关位于今陕西省勉县境内，是汉中的西大门，它北面是秦岭，南临汉水和巴山，处于陈仓故道和金牛道交会处，这两条古道一条是关中南下汉中的必经之路，一条是汉中入川的必经之路，阳平关处于其结合部。
之前曹操曾向当地人询问阳平关一带的地形，有人告诉他阳平关的地势一点都不险要，关前的南北两山相距很远，不容易守住。到了阳平关曹操一看完全不是那么回事，不由得感叹道：“别人转述的，未必都是真实情况啊！”
听说曹操亲率大军到达阳平关，张鲁自知不是对手，准备投降，但是遭到其弟张卫的反对。张鲁于是派张卫以及杨昂等人率兵数万，在阳平关前横着筑石城十多里，拦住曹军的进攻。
曹军大约有10万人，张鲁军大约3万人，但在这样的地理条件下，人多并不是最有利的因素，由于地势险要，易守难攻，曹军死伤惨重，曹操感叹道：“打了30年的仗，还没有这样受制于人的，怎么办？”
曹操竟然想到了撤兵，但是奇迹发生了。当时曹操撤退的命令已下，夏侯惇、许褚所部接到命令连夜撤退，夜里看不清路，结果误入敌人兵营，敌人不知究竟，还以为曹军攻营得手，居然四散败走。侍中辛毗、刘晔等人随军行动，他们告诉夏侯惇、许褚说已经占领了敌人的要塞，夏侯惇、许褚不相信，亲自来察看，果然是真的，立即报告曹操。
还有一个记载，说当时不知从哪里窜出来数千只麋鹿冲入张卫大营，张卫军营夜惊，曹操手下的高祚等部离此不远，高祚吹响鼓角，召集其他友军，张卫大惧，以为这都是曹军预谋好的攻营战术，于是投降。阳平关就这样稀里糊涂地被攻下了，曹操一看，那就不撤了。
南郑无险可守，张鲁还想投降，但他手下的功曹阎圃认为投降可以，但不要这么轻易就降，他的理由是：“现在就这么投降了，必然没有什么分量；不如先投奔杜濩、朴胡，然后看情况再说，到那时再投降功劳也大些。”
张鲁真是个善于倾听部下意见的好领导，对阎圃的建议他也接纳了，于是带领一部分人南入巴中。巴中地区属益州刺史部，益州目前虽然被刘备占领，但各地正处在新旧交接中，像巴中这些地方目前还比较乱，在当地势力比较大的是杜濩、朴胡这些部族首领。
临走前有人建议搞一些破坏，把仓库等设施烧毁，张鲁不同意：“本来打算归顺朝廷，现在离开是暂避锋芒，没有恶意，仓库里的东西都归朝廷所有。”张鲁让人在府库上一一贴上封条，之后才走。曹操到了南郑，对张鲁的做法很高兴，他得知张鲁有归降的本意，就派人到巴中地区寻找张鲁，劝他投降。
9月，巴中地区的部族首领朴胡、杜濩率部出降，曹操下令分巴郡为巴西郡和巴东郡，任命朴胡为巴东郡太守，杜濩为巴西郡太守，都封为列侯。11月，张鲁率家属从大巴山出来投降，曹操以天子的名义拜张鲁为镇南将军，封阆中侯，食邑一万户，封张鲁的五个儿子以及阎圃等人为列侯。
马超逃往益州时没来得及带上妻子董氏以及儿子马秋，现在董氏和马秋都到了曹操手上，曹操把董氏赐给阎圃为妻，把马秋交给张鲁处理，张鲁亲手把马秋杀了。张鲁此举并不仅仅因为痛恨马超，而是借此向曹操表示忠心，说明他与马超已成不共戴天的仇人，让曹操放心。
马超的部将庞德也在张鲁处，现在也投降了曹操，曹操早就听说庞德作战勇猛，任命他为立义将军，封关门亭侯，食邑300户，庞德从此忠心耿耿地追随曹操，至死不渝。
五年前与马超一同在关中叛乱的程银、侯选等人各率1000多家在汉中，他们也出来投降，曹操既往不咎，仍然恢复了他们的职务。还有那个刘雄鸣，汉中平定后没有办法只好再次投降，曹操看到刘雄鸣，上去一把拽住他的胡子：“老家伙，这回又抓到你了！”说归说，曹操并没有为难他，恢复了他的职务，只不过汉中不能让他再待了，说不定哪一天他还作乱，曹操下令把他和部下迁到冀州刺史部渤海郡。
曹操对张鲁等人封赏都很重，原因不在于阎圃说的那样，而是曹操考虑到张鲁祖孙三代在汉中统治时间很长，又有一套“五斗米教”相辅助，在汉中影响很大，只有尊崇张鲁，才能得到汉中的人心，巩固汉中的统治，为进图益州做长远规划。
从行政区划上说，汉中郡属益州刺史部，应该是刘备的地盘。刘备进入成都时黄权曾提出建议：“如果失去汉中，则巴郡不可保，等于失去了益州的一条臂膀。”
这时张鲁出逃巴中，刘备于是任命黄权为护军，督率就近的各军前往巴中迎接张鲁，可是晚了一步，张鲁投降了曹操。黄权就率军攻击曹操新任命的太守朴胡、杜濩等人，曹操命张郃率部赶往支援。
这时刘备刚占领成都不久，益州并不稳固，无法倾全力去与曹操争锋，只能派张飞去支援黄权。张郃与张飞战于巴中，双方相拒50多天，最终张飞打退了张郃的进攻，张郃撤回南郑。巴郡、巴东郡和巴西郡习惯上称“三巴”，属益州刺史部，这时大部分也都被刘备所控制，刘备任命张飞为巴西郡太守，让他在那里据守。
荀攸死后，在曹操身边出谋划策的主要是刘晔，曹操又选拔了司马懿等人参与筹划，司马懿此次以主簿的身份第一次随军，他向曹操提出建议：“刘备以骗术取得益州，蜀人未必肯服，此时他们与孙权为荆州的事相争于江陵，这是一个机会。如今攻克汉中，益州震动，进兵攻之，益州必然瓦解。圣人说过，做事不违背天命，但也不能失去时机呀。”
司马懿的建议并非没有道理，刘备得到益州后，孙权趁机索要借出去的南郡等地，孙刘联盟出现了裂痕，这倒是一个机会。刘晔也建议，攻克汉中后益州震动，正是一举攻占益州的最好时机，如果失去这个机会，必然给今后留下难题。
但是曹操迟疑不决，他想起了当年在赤壁的遭遇，见好就收是有道理的，汉中之得有很大的偶然性，如果不是天佑曹魏，说不定此次也是无功而返，这次行动的目标是汉中，既然目标已经实现就应该退兵了。曹操没有接受司马懿和刘晔的建议，他说了一句很有名的话：“人最怕的是不知足，既然得到了汉中，就不要再想益州了！”
这就是“得陇望蜀”典故的由来，但不久后，有从益州那边投降过来的人报告说，听到曹军攻占了汉中，蜀中大为震动，刘备虽然连杀了不少人都不能让局面安定。曹操有些后悔，问刘晔现在进兵益州是否可行，刘晔认为时机已过，现在那里的局面必然初步安定，不能再进攻了。
不过，从张郃和张飞在巴中地区交战的情况看，曹军如果即刻南下在局面上也未必占优势，先不说汉中初定，人心不稳，单就战争准备、熟悉道路等方面，也不是仓促就能完成的，曹操没有采纳司马懿和刘晔的建议，应该说是明智的。
曹操任命夏侯渊为都护将军，率领张郃、徐晃所部留守汉中，派丞相府长史杜袭以驸马都尉的身份负责汉中的政务。
汉中郡之前已被刘焉改为汉宁郡，曹操下令恢复汉中郡，将汉中郡的安阳、西城等县分出来设置西城郡，将锡县、上庸县等分出来设置上庸郡，分别设置了郡太守、都尉。
之后，曹操率主力撤出汉中。