張遼雖在曹營中算得上數一數二的高手，但與蜀漢五虎上將相比，差距依舊不小。休說張飛，即便六十歲的老黃忠，張遼亦不一定能勝過。
張遼本是呂布帳下的得力幹將，與高順齊名。但高順出場並不多，因此其真實實力究竟如何，不好判斷。不過呂布曾讓高順出戰張飛，這一細節中可對高順的實力窺知一二。呂布在此之前曾與張飛交手三次，均不分勝負，應當深知張飛實力。第四次與張飛相拒，呂布先派高順挑戰張飛，高順抵抗一陣後體力不支，呂布才親自出手迎戰張飛。因此，與張遼齊名的高順，差距與張飛還是相當大的。
雖然高順的出場次數不多，且很快領盒飯，但從他僅有的幾次登場觀之，呂布對他非常信任，但凡分兵，必會讓張遼高順二人各帶一隊。呂布能如此優待他，自然是看重他的實力，能得到呂布認可，說明他的實力至少在平均水平以上。而張遼在呂布陣營的地位並未明顯高出高順，且張遼也並未對此表示不滿，直到最後依然忠心於呂布，由此可知張遼和高順的實力相差不大。
既如此，實力最多稍稍高出一點的張遼，面對張飛自然不能占到上風。
從張遼的戰績而言，也難以得出他的武力「不下於關羽張飛」的結論。張遼對陣東吳的甘寧等人，均不分勝負，對陣張郃也打成平手。東吳戰將在三國中除了太史慈之外，大多雞肋；而張飛在漢中以玩耍的心態與張郃交戰，張郃最多撐了三五十回合，可見張郃與張飛的差距極大。而與張郃打成平手的張遼，自然不是張飛的對手。
因此，從硬實力來說，張遼根本不是張飛的對手。二人若交戰，五十回合之內，張遼非死即傷。
萬人敵的關羽之所以對張飛說「張遼武功，不在你我之下」，是出於對張遼的欣賞。張遼和關羽屬於同一類人，二人都非常重義氣，在曹營中，張遼可算得上關羽為數不多的好友。關羽對張遼武功的判斷，受到自己私人交情的影響，所以無意間誇大了。此外，關羽如此說，還有為了讓張飛不要輕敵的原因。
但無論如何，「武力不在關羽張飛之下」這一評價，絕對是誇大了張郃的實力。
圖片來源網絡，侵刪