陰山這個名字從最早出現開始，就與抵禦北方草原遊牧部族入侵緊密相連。司馬遷的《史記·匈奴列傳》:「(趙武靈王)北破林胡樓煩。築長城，自代並陰山下，至高為塞。而置雲中、雁門、代郡。」王昌齡的著名詩篇《出塞》，更是有「但使龍城飛將在，不教胡馬度陰山」的千古名句，至今讓人傳頌。
這座東西綿延1200多公里的山脈，比著名的祁連山還要長200千米左右，其橫亘於內蒙古自治區中南部，東起大興安嶺，西至河西走廊，北接阿拉善的茫茫沙海，極具雄偉氣息，金代詩人元好問甚至寫到：「中州萬古英雄氣，也到陰山敕勒川」。當地民歌也贊道：「敕勒川，陰山下，天蓋穹廬，籠蓋四野。」
秦國北擊匈奴，可惜國祚太短
在自然地理上，陰山山脈不僅是蒙古高原和黃土高原之間的界山，也是古時農牧區分界線。由於山脈對氣流的阻擋作用，山的南北，自然條件迥異；北邊「少草木，多大沙」，自古就是北方游牧民族角逐的大舞台，匈奴、鮮卑、柔然、突厥、契丹、蒙古等北方遊牧部族先後在這裡崛起，並不斷向南方的中原王朝發動入侵。
戰國時期，秦、趙、燕等諸侯國忙於彼此間的兼并戰爭，邊防實力有所削弱。草原上新崛起的匈奴大舉南下，控制了趙武靈王時修築的北長城，穩固地占領了陰山及河套等地區。此後，匈奴人以此為基地，不斷對四周鄰族展開強大攻勢。直到秦統一天下後，雄才大略的秦始皇派大將蒙恬統軍30萬北征，將匈奴勢力一舉趕回了陰山以北地區。
強漢盛唐攻滅匈奴突厥
可惜，秦朝國祚過於短暫，秦始皇逝世後，其子胡亥亂政導致天下大亂，陰山又重新落到匈奴手裡。幾乎一個世紀後，雄才大略的漢武帝重新對匈奴發動戰爭，衛青、霍去病、李廣等名將輩出，匈奴被迫遠遁漠北，徹底喪失了對陰山山脈的控制權。史載「匈奴失陰山之後，過之未嘗不哭也」。但隨著大漢王朝的逐漸式微，尤其是三國兩晉南北朝亂世開始，陰山再次落入遊牧部族之手。
鮮卑、柔然等相繼越過陰山南下，大肆搶掠人畜財物，甚至在長江以北建立與南朝分庭抗禮的北魏政權。到了隋唐時期，突厥人取代柔然在草原上崛起，並繼續南下攻擾中原，連入侵路線都效仿柔然老路子:從陰山著名的白道川直接南下，橫衝直撞。但隨著唐太宗李世民登基繼位，局面很快扭轉；公元629年，名將李靖統兵10萬北伐，在陰山下擊潰突厥主力，後來乘勝追擊，在陰山北口伏擊突厥王庭，將不可一世的頡利可汗一舉擒獲。
可惜，唐朝之後的中原王朝過於虛弱，再也沒能依託陰山山脈阻擋草原上的游牧民族，契丹、女真、蒙古先後再犯中原，將橫臥的陰山變成了自己穩固的後方。明朝雖然推翻蒙元，並遷都北京，卻無力在陰山重建穩固防線，所以今日所見的明長城，已坐落在陰山以南。到了清代，漠南、漠北蒙古相繼歸附後，陰山南北儼然成為一家，陰山的屏障作用就更無從談起了。