张辽出生时，塞外的胡人已经在檀石槐的统治下而变得非常强盛。因此，张辽所在的雁门郡经常遭到胡人的杀掠洗劫。熹平六年（177年），雁门郡的军民曾与一些匈奴人联合反攻檀石槐，却大败而还，死伤惨重。张辽自幼就经历了大量的边塞战乱，少年时便成为雁门郡的郡吏。
中平五年（188年）三月，并州刺史张懿在抵御胡人的进攻时，战败被杀。继任为并州刺史的丁原因为张辽武力过人，召其为从事，命他带兵赶赴京城，去接受大将军何进的领导。大将军何进又派遣张辽前往河北募兵。张辽在河北共募得千余人，然后，返还京城向何进复命。何进被宦官所杀。愤怒的将士们攻杀宦官。幸存的宦官劫持汉少帝。最终，董卓立下了救驾的大功，回京后，便掌握朝中大权。由于何进已死，张辽作为大将军何进的直属部下之一，便像何进的其他部属一样，统兵从属于董卓。后来，董卓败亡。张辽统兵从属于吕布，迁任骑都尉。张辽虽然“以兵属吕布”，但他以北地太守或鲁相的名义，在吕布军中仍保持相对的独立地位。
由于凉州军人是董卓旧部，主持朝政的王允打算削弱凉州军人的权力，于是，凉州军人在李傕、郭汜、樊稠的带领下纷纷造反，攻打长安，击败吕布，杀死王允。北地太守张辽（北地位于凉州，在吕布向东逃亡之前，张辽就已经被朝廷授予此职）跟从吕布向东奔逃。在兖州，吕布集团又吸收了陈宫等人，并在此处鏖战曹操，战事持久而惨烈。吕布集团曾数次战胜曹操，一度将曹操打得仅剩1万余士兵。后因蝗灾大起而各自罢兵。休整之后，曹操击败吕布。张辽又随吕布前往徐州。
建安元年（196年），吕布夺取徐州，自领徐州牧。张辽领职为鲁国的国相，时年二十八岁（古代用农历记录虚岁。农历的28岁为公历的27岁）。
建安三年（198年），吕布的部下奉命用金子购买军马，但在途中，金子都被刘备军队抄掠走了。张辽虽然与关羽交好，但依然奉命出战，与中郎将高顺一起攻打刘备军队。刘备军向曹操求援，曹操便派遣夏侯惇救援刘备。高顺、张辽先是共同击败夏侯惇，随后又共同击溃刘备。
此前，曹操正在亲征张绣。在高顺、张辽击溃刘备之后，曹操停止攻打张绣，转而东征徐州。吕布亲自固守下邳城，被曹军包围。
建安三年十二月癸酉（199年2月7日），吕布的嫡系将领侯成、宋宪、魏续三人绑缚陈宫向曹操投降，并打开城门使得曹操军队急速冲入下邳城。然后，曹操使吕布彻底破灭于下邳城中。然后，张辽率领自己的军队归降曹操（同一时期，至少有5篇类似的史书记载可以共同论证，张辽的投降时间晚于吕布的下邳破亡。《资治通鉴》记载，在曹操对下邳城内的投降者们以礼相待之后，张辽率军投降）。曹操将张辽拜为中郎将，并赐爵关内侯。而张辽的鲁国国相的职务则由毕谌来接替。
建安五年（200年），官渡之战爆发。袁绍首先派兵袭击白马。曹操依荀攸之计，亲率军队救援白马，张辽与关羽作为前锋，击破颜良军队。在官渡之战的数次战斗中，张辽数有战功，迁裨将军。
同年十月，袁绍主力溃败后，曹操另派曾经领有鲁国的张辽去安定鲁国诸县。这是因为曹操的兖、豫之地在袁绍大举攻曹之时，有非常多的郡县投靠了袁绍。
劝降昌豨
建安六年（201年），张辽与夏侯渊同围昌豨于东海郡，历经数月，粮秣将尽，众人商议都认为应该引军而还。在“众议还”的氛围中，唯有张辽看出昌豨有动摇之心，于是向夏侯渊说：“这些天以来，每当我巡视围城的军情时，昌豨就两眼盯着我看。而且，他的士兵所发射的箭日益稀少，此种迹象必定是因为昌豨心怀犹豫，所以才没有力战。我希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨投降，岂不是更好吗？”
于是，张辽派遣使者向昌豨传话：“曹公有命令，让张辽来对你传达。”昌豨果然走下来与张辽对话。张辽便说：“曹公神武，正在用他的美德感化四方，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。
曹操先遣昌豨返还东海郡。随后，曹操便责备张辽道：“只身赴敌巢穴，这不是大将所为。”张辽拜谢了曹操的关怀，又根据当时的形势，回答道：“凭着明公威信著于四海，我张辽拿着圣旨，昌豨必然不敢害我。所以我才这么做。”
此次事件，张辽在夏侯渊面前展现了明察秋毫，在昌豨面前展现了刚柔并济，在曹操面前展现了料敌雄断。
通过张辽的成功劝降，东海郡在此后保持了长达5年的平静。此时，黄河以北的袁氏势力依然强大。直到5年之后，曹操平定了冀州并打垮了袁氏，统治东海郡的昌豨才再次发起叛乱。
从攻袁氏
建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。
建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。
建安九年（204年），张辽再次随曹操攻打邺城，这次终于攻破邺城。张辽奉命别巡赵国、常山，招降了那些靠近太行山边缘的诸多贼众及黑山孙轻等。此后，再度随曹操攻击袁谭。
建安十年（205年），袁谭败亡后，张辽受命安抚海滨一带，征破辽东军阀公孙度所置的营州刺史柳毅。又与长广太守何夔合兵平定了矣平的从钱等人。
建安十一年（206年），曹操上表汉献帝，对于禁、乐进、张辽表示称赞：“武力强大，计谋周全，品性忠正，操守高洁，每次征战，身先士卒，勇猛顽强，无坚不摧；亲自擂动战鼓，忘了疲倦。他们单独领兵征讨，统率全军，抚慰将士，纪律严明，秋毫无犯；临敌决策，没有失误。论功记职，应该给予显要荣宠。”
收复东莱诸县后的张辽引军还邺城，曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。
张辽率军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。
大破乌桓
建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。
八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。
在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，下令由张辽指挥先锋部队出战。张辽率军突击，大破乌桓军队，并临阵斩杀了以“骁武”著称的乌桓单于蹋顿。（曹操“自以所持麾授辽”。《淮南子·主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。《魏武军令》：“麾前则前，麾后则后，麾左则左，麾右则右。不闻令而擅前后左右者斩”，说明，曹军各部的进攻方向、进攻时机全由张辽决定。以上两文相结合，说明，因为张辽“持麾”，所以，白狼山之战的参战将领都必须接受张辽的指挥，否则，会被依法处斩。因此，《三国志·武帝纪》关于白狼山之战的记载，只需写张辽，没必要写其他的参战将领，也没必要写“等”字。）此役，虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十馀万。
在白狼山之战后，张辽开始名声卓著、脱颖而出。后世也因为白狼山之战而对张辽多有赞誉。唐朝的昭文馆大学士甚至将张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，将军捕虏。”（相关释义：“卫青开幕”是指卫青破匈奴，“张辽辟土”是指张辽破乌桓。“嫖姚”可能是特指曾经在漠南之战时任票姚校尉的霍去病，也可能是泛指迅捷有力。“虏”是指胡虏。）
智破谋反
建安十三年（208年），当时，荆州尚未安定，人心尚未归附。曹操在那一年，重新组建了许多军队。张辽率领其中一支新组建的军队，屯驻于长社。军队临出发之际，军中忽有谋反者起事骚动，在夜间，惊乱起火，全军尽受其扰。此时，张辽经过审时度势，对左右说：“不可乱动。这一定不会是全营尽反，必然是那些制造叛变之人，想藉此骚动去惑乱众人而已。”于是，张辽传令军中，只要不是谋反者就安坐勿动。而张辽则带领亲兵数十人，守立于阵中。情况逐渐稳定下来，不久，在军中查出并擒获了制造动乱的首领，并将其肃清杀死，彻底挫败了军中夜叛。
以前，军营内的夜间谋反经常会让人难辨敌友、逃离求生。曹操曾经遭遇过军中夜叛，导致曹操四千人的军队只剩下五百人。牛辅也曾经遭遇过军中夜叛，导致牛辅在逃离的途中被叛徒所杀。而这一次，张辽识破谋反之计并转败为胜的冷静表现，成为了遏制军中夜叛的智略典范，被《通典》评价为：“张辽审计，立擒贼首，亦同料敌之义”。
赤壁之战时，曹操徙赵俨为都督护军，督护于禁、张辽、张郃、朱灵、李典、路招、冯楷七军。
勇者得前
建安十四年（209年），江淮豪强陈兰、梅成占据氐（氐，可能是指六安国全部、庐江郡北部、九江郡西部）的六个县作叛。曹操于是遣于禁、臧霸等去讨伐梅成，又遣张辽督领张郃、牛盖等去讨伐陈兰。当时，于禁的军队率先到达，梅成诈降于禁。于禁中计，轻率地回军。梅成旋即复叛，带其军众投奔陈兰，二人又率众转入灊山自守，占据了地利。灊山（今为安徽省潜山县）中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲进入天柱山追剿敌军，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“此所谓一与一，勇者得前耳（只有勇者可以前进）。”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天柱山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军张辽的功劳。”于是增其邑，假节。
守卫合肥
建安十八年（213年）正月，从征孙权，攻濡须。后来，曹军攻破孙权江西营，擒获孙权都督公孙阳。曹操望孙权军，慨叹孙权军队的军容齐肃，于是撤兵。
建安十九年（214年）五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。张辽在硖石的南面迅速筑起了一座被称为“南硖戍”的堡垒，作为合肥的前哨。
同年七月，曹操征伐孙权。同年十月，曹操无功而返，自合肥还。曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。
筑垒硖石南、开凿藏舟浦，都展现了张辽防患于未然的深谋远虑。
建安二十年（215年），曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
建安二十年（215年）八月，东吴首领孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守，护军不得与战。”曹操只在信中明确了3位将领的分工，但是，完全没有提及何时出城、何时撤退、出城人数、攻向哪里、如何接应等具体措施，况且，将在外君命有所不受。因此，合肥诸将们都感到疑虑。在“诸将皆疑”的氛围中，张辽审时度势，根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，提出在合肥城还没有被孙权大军完成合围之前，率先出击，“折其盛势，以安众心”，然后就可以守住城池。张辽此番分析消除了诸将的疑惑。李典也对张辽所说的话表示赞同。
于是，张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛肉赏给将士饱食，准备明日大战。天色刚亮，张辽披甲持戟，亲自先登直陷敌阵，撕裂了东吴军队的防线。在他率军冲入东吴的营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。他一边大声呼喊着自己的名号，一边登锋陷阵，冲入东吴的营垒。此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。孙权见状大惊，东吴众将士也因惊慌失措而不知道该如何应付，于是，孙权等人逃跑到一座较高的山冢上，用长戟来自卫。张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战。但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。张辽率领左右将士突围，径直向前实施“急击”，将东吴的包围圈打开。在战斗中期，张辽曾经带领着中期破围的几十人突出了重围。然而，当时在东吴军队的包围圈中，依然有张辽军馀众几百人（张辽军馀众有几百人，该结论是由“辽募其敢死者八百人，登锋陷阵，大破之”、“吴人夺气”、“众心乃安”等史料推定）。馀众几百人大声呼喊：“将军要舍弃我们吗？”由于馀众的人数很多，馀众的呼喊声很大，可以被远处的张辽听到。于是，张辽带领着中期破围的几十人，又杀入了重围，去救援馀众几百人。孙权军队皆望风披靡，没有人再敢抵挡张辽了，也称“权众破走”。从早晨战至日中，吴军锐气为张辽所夺。战斗结束后，张辽回城修理守备，合肥的军心因为首战大胜而安定了下来，李典、乐进等合肥诸将们都对张辽表示心服口服。（注意事项1：首先， “杀数十人，斩二将”只是“冲垒入”之前的事迹，不包括“冲垒入”之后的时间段。其次，因为前文的“被甲持戟，先登陷陈”、后文的 “大呼自名”都是张辽的单人动作，所以，夹在中间的“杀数十人，斩二将”是张辽在“冲垒入”之前的单人斩杀数。）（注意事项2：东吴猛将陈武每逢作战皆是所向无前，却战死于此次战役。陈武的阵亡时间，有所争议。陈武的阵亡地点，一定远离津北。这是因为《甘宁传》的津北名单有“唯”字，无“等”字。详见下文的“排除津北组”、“后期津北组”、“后期津南组”。）
这次战斗为5个阶段：1.张辽突击吴军；2.吴军包围张辽；3.张辽破围而出；4.张辽复入吴军；5.吴军披靡败走。
此前，张辽亲自提出“折其盛势，以安众心”的作战方略，至此，完全实现目标。战果描述分别是：敌方的“吴人夺气”、己方的“众心乃安”。此外，《三国志》的“权人马皆披靡，无敢当者。自旦战至日中，吴人夺气”、《魏书》的“孙权率十万众围合肥，辽募其敢死者八百人，登锋陷阵，大破之”、《魏略》的“张辽为孙权所围，辽溃围出，复入，权众破走”都表明张辽800人的敢死队是在击退东吴军队之后（“权人马皆披靡”、“权众破走”），才返回合肥城中。反观，孙权军队则是被800人“大破之”，战至中午时，“权人马皆披靡”、“权众破走”。
在张辽800将士成功以少胜多之后，合肥城内因为军心稳定而守则必固。反观孙权的军队则“吴人夺气”，丧失了斗志。孙权虽然首战失败，但曹军主力被张鲁牵制在汉中而无暇东顾（建安二十年，合肥之战发生在八月，曹操征讨汉中从三月战至十一月），因此，孙权不愿错失良机，在收拢败兵之后，仍然凭借着明显的兵力优势，继续僵持在合肥十馀日（“权守合肥十馀日”当中的“守”字，没有进攻的含义，但有坚持、僵持、保持的含义），然而，孙权军队因为士气低落，不可能夺取合肥城了，于是退兵。张辽率领诸军乘势追击，几乎再次捉住孙权（“几复获权”的“复”字，表示再次的含义）。同时，张辽又统筹了战局，准确预估了孙权的逃生路线，并分兵绕过东吴军队进行毁桥。而孙权与甘宁蹴马趋津，又有谷利鞭马助势，才得以跃过断桥，死里逃生。张辽因为不知道孙权的相貌而错失了活捉孙权的机会。曹军士兵听说此事都表示叹息悔恨。曹操得知此战，对张辽的表现大加赞许，并拜张辽为征东将军。
当时，曹魏军队的主力远在汉中，而曹魏江淮一带的兵力则非常空虚，无法派遣援兵。正是所谓的：“公远征在外，比救至，彼破我必矣”。因此，曹操非常看重张辽在此战中立下重大功劳，史载“太祖大壮辽”，“大壮”两字在《三国志》里仅用过两次，分别是在《张辽传》、《徐盛传》，可见分量之重。
张辽在此次战役中，前后共发起两次进攻，皆大胜东吴。虽然，孙权本人在这两次突袭中，分别以“走登高冢”、“蹴马趋津”的方式逃离危险，但是，东吴军队却遭受了重创。
此役震惊东吴，以致于在东吴一方的记载中，《三国志·吴书》述及此次战役的列传中，若不考虑裴注，仅仅考虑本传就已经多达8篇。在这些记录中，排除津北组有3篇本传、后期津北组有5篇本传。另外，后期津南组有1篇裴注《江表传》。这3组描述的各自特点如下：
排除津北组包括陈武、宋谦、徐盛、潘璋、贺齐，所涉及的3篇本传共有0句撤军、0句津北、3句合肥。并且，《甘宁传》的名单有“唯”字、无“等”字，将陈武、宋谦、徐盛、潘璋、贺齐5人彻底排除在“津北”之外；
后期津北组包括孙权、吕蒙、蒋钦、凌统、甘宁，所涉及的5篇本传共有5句撤军、4句津北。该组的每一个将领都被2篇或2篇以上的传记，记录为战役后期在“津北”（他们无法挡住张辽，但且战且退，延缓了张辽的进攻速度）；
后期津南组只有贺齐，所涉及的1篇裴注共有1句撤军、1句津北、1句津南。合肥之战的后期，贺齐退兵到津南。张辽已经分兵毁桥，断桥阻隔了津南、津北。因此，裴注《江表传》只有贺齐的接应而没有贺齐的参战。
以上3组中，时间的疑点在于“排除津北组”。所以，东吴一方的描述可能有以下2种的情况：
第1种可能情况，如果，排除津北组是战役前期的描述。那么说明：在战役前期（张辽800人冲锋），陈武在合肥城外被杀，宋谦部、徐盛部在合肥城外溃退，徐盛本人受伤并掉落长矛。贺齐拾到徐盛的长矛。潘璋杀逃兵遏制溃退。但最终还是“吴人夺气"。在战役后期（张辽追击东吴），早已“吴人夺气”的东吴主力纷纷“兵皆就路”。张辽直接攻向了津北，同时分兵去毁桥。权与甘宁蹴马趋津，谷利著鞭使得孙权乘马跳过断桥。后期并未参战的贺齐，到津南接应孙权。由于桥已被毁，张辽便在津北，与津南的贺齐隔河相望。凌统游到津南后在河边痛哭。逃跑未遂的东吴军队向张辽投降。
第2种可能情况，如果，排除津北组是战役后期的描述。那么说明：在战役后期（张辽追击东吴），陈武在合肥城外被杀，宋谦部、徐盛部在合肥城外溃退，徐盛本人受伤并掉落长矛。潘璋杀逃兵遏制溃退。后来，合肥城外的吴军还是败退了。在合肥城外的吴军败退后，张辽又攻向了津北，同时分兵去毁桥。权与甘宁蹴马趋津，谷利著鞭使得孙权乘马跳过断桥。贺齐从合肥城外退到津南接应孙权。由于桥已被毁，张辽便在津北，与津南的贺齐隔河相望。凌统游到津南后在河边痛哭。逃跑未遂的东吴军队向张辽投降。
虽然，孙权是一位善于纳谏的君主，并且有吕蒙、甘宁、凌统、蒋钦、陈武、宋谦、徐盛、潘璋、贺齐等许多将领一起出征。但是，在遭遇张辽的两次突袭之前，东吴将领们在战败之前并没有做出任何预先提示（例如，曹操不从荀攸的良言、袁绍不从张郃的良言、夏侯惇不从李典的良言、曹操不从贾诩的良言、刘备不从黄权的良言、曹仁不从蒋济的良言、马谡不从王平的良言、孙权不从顾雍的良言、诸葛恪不从聂友的良言、姜维不从张翼的良言，他们不从良言的败仗都使得劝谏者的明智的提示被载入史册），说明张辽观察到的作战机遇，是东吴诸将们都没有观察到的。
在战役前期（张辽800人冲锋），已经突出重围的张辽又回身去拔出余众，体现了甘苦与共的道德信念。在战役后期（张辽追击东吴），正在猛攻敌军的张辽又分兵去毁桥，体现了统筹兼顾的指挥艺术。
《武帝纪》、《乐进传》都没有乐进在合肥之战的贡献记载。《李典传》中李典对张辽所说的“顾君计何如”表明了张辽制定决策。在不计本传传主的影响时，《武帝纪》、《温恢传》、《乐进传》、《李典传》的江淮地区军务都是张辽名列在乐进、李典之前。而《吴书》在合肥之战的所有列传更是只记录张辽，却无乐进、李典。这些史书记载都体现了张辽在合肥的主导作用。
张辽画像此役之后，若江东小儿啼哭不止，其父母只要吓唬说：“张辽来了，张辽来了！”孩童就不敢再哭泣了。
建安二十一年（216年），曹操再征孙权。到合肥后，曹操循行视察昔日张辽作战的地方，赞叹良久。于是，给张辽增兵（“乃增辽兵”意味着张辽因为征东将军之职而在216年显著增加兵权，此后的统兵数量难以考证），多留诸军，迁徙去居巢屯驻。
建安二十一年（216年）冬季，曹军抵达居巢，开始进攻濡须。建安二十二年（217年）正月，曹操大军在居巢集结完毕，并在二月全线猛攻濡须，迫使孙权退走。三月，孙权又派遣徐详向曹操请降。曹操回师，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年（219年），关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽素来知晓曹操的用意，虽然他收到诏令较晚，但向樊城的进军速度却很快。而张辽尚未到达，徐晃就已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
转官晋爵
建安二十五年（220年），曹操去世，曹丕即位魏王，张辽从征东将军平级转任为前将军，又分封其兄张汛（或作“张泛”）及一子列侯。同时，赐给张辽的帛多达千匹，谷多达万斛。
不久孙权再叛变，张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派遣兵马送其家人到他驻军的地方，又派遣向导们预先在各地张贴告示，宣告张辽的家人将要到临，指引着大家出迎。张辽所督诸军的将士官吏们都罗列在道路两侧，拜迎张辽的家人。看见此景的人们都认为这是十分荣耀的事。
同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年（221年），张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。（召虎，即召穆公，是与方叔、尹吉甫、南仲等齐名的西周大将。他曾平定淮夷，所以被曹丕借作比喻。）”于是，曹丕下令为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵线、直冲孙权帅旗而临时应募的一众步卒，都被封虎贲。
病逝江都
张辽像黄初三年（222年），孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。梁章巨《三国志旁证》中提到“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖宠之也。”可见曹丕如何重视张辽。
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。病情稍有好转后，张辽便返回其军中，然后率军与朱灵一同还屯合肥，忠于职守。
正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。此时，虽然张辽受到曹休（曹丕的族兄）的督领，但孙权得知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意！”同年，张辽与王凌等人进军至广陵。一天夜里，吕范等人的东吴水军漂至北岸。张辽与王凌等人出战，大破吴将吕范等人，并缴获了大量舟船。但张辽的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年（225年），曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封张辽、李典的家族各增邑百户，对他们两人各自的一个儿子赐爵为关内侯。”
正始四年（243年），张辽得享从祀于曹操庙庭。
历任官职：郡吏，骑都尉，北地太守，鲁相（重视朝廷公文的王粲、司马光仍记张辽为北地太守，重视实际作用的陈寿则记张辽为鲁国国相），中郎将，裨将军，行中坚将军，荡寇将军，征东将军，前将军。
