津浦線中段的戰役結束以後，敵人再度遭到重創，整個山東戰場的局勢發生了根本性逆轉，我軍的總兵力已經超過了敵軍。更為重要的是，經過這幾次戰役以後，敵人第2綏靖區司令部所在的濟南已經陷入了我軍四面包圍之中，進攻濟南的時機已經成熟。
為了能夠守住濟南，敵人在這裡部署了9個旅、5個保安旅，再加上特種部隊，總兵力達到了11萬人。負責指揮這些部隊的將領是抗戰名將王耀武，他在抗戰期間屢立戰功，所統率的74軍更是敵人最為精銳的部隊之一。為了守住濟南，他在濟南外圍構築了160多個支撐點，形成了600多平方公里的防禦面積。再加上濟南儲備了大量武器彈藥和糧食，使得王耀武很有信心能守住濟南。
這次進攻中，華東野戰軍主要分為兩個東西兩個作戰集團，首先攻占機場，切斷敵人的退路和空運，打開攻城的道路，然後再集中力量攻打濟南，殲滅濟南的敵人。其中西作戰集團以3縱、10縱、魯中縱隊、兩廣縱隊為主，負責奪取機場和商埠，東作戰集團以9縱、渤海縱隊和渤海軍區部隊為主，負責掃清敵人在濟南外圍的據點，然後再配合西作戰集團攻城。除此之外，13縱擔任總預備隊，在上港、窩鋪一線集結，隨時準備支援前線作戰。
按照13縱司令員周志堅的部署，37師負責奪取白馬山、丁家山、辛莊等陣地，直插到商埠地區，38師作為第二梯隊，跟在37師後面前進，39師則負責掃清外圍的殘敵，保障37師、38師側翼的安全。行動開始以後，37師111團趁著敵人剛剛接防陣地，還不熟悉情況，用奇襲的方式先後奪取了白馬山和丁家山。
與此同時，37師109團、110團和111團2營直插向商埠。由於當時敵人正在往裡收縮，37師在前進過程中經常會遇到敵人，到處都在問「哪一部分的」？因為天色太暗，敵人始終沒有發現37師不是自己人。周志堅得知這一情況以後，當機立斷讓37師跟在敵人收縮部隊後面前進，爭取趁著敵人沒有發覺，搶先進入商埠。
沒想到的是，這個計劃卻因為一個意外而功虧一簣。111團2營到達商埠外圍的卡子門時，正好遇到敵人整編第2師山炮營與保安第8旅23團在商量換防的事情。2營營長劉永山一看機不可失，立刻讓6連趁機跟在山炮營後面混進去。一開始，6連1排已經接近了外壕，結果正好敵人陣地上響起了一聲冷槍，6連一個機槍手以為敵人發現了，當即開槍還擊，使得6連完全暴露了，只好直接強攻。
商埠位於濟南西面，是敵人的主要陣地之一，敵人在正面挖掘了一條寬1.5米、深3米的壕溝，挖出的土往裡翻，形成了一條3米高的圍牆，圍牆上修築了地堡和機槍掩體。商埠的主要街道和房屋也都構築了地堡，還有許多鐵絲網、柵欄等障礙物，形成了一套嚴密的防禦體系。敵人負責守衛商埠的部隊，是整編第2師211旅、青年教導總隊、保安第8旅、整編第74師172團。
當天晚上18點，13縱炮兵首先轟擊敵人的防禦工事。大約25分鐘的炮擊以後，炮火開始向縱深轉移，37師109團、110團趁機出擊，分別向辛莊西面的卡子門和東面的卡子門發起了進攻。負責進攻西卡子門的部隊是109團1營，營長田軍提前觀察了敵人的部署情況，準備非常充分。剛剛開始進攻，2連和3連就連續爆破，炸毀了敵人的地堡和鐵絲網，打開了一個突破口，1連立刻跟上，打退了敵人的反撲，穩住了突破口。
隨後，109團2營和3營殺向敵人的縱深，2營沿著南大槐樹南街向東北方向進攻，一直到達南大槐樹南街東頭，3營則沿著道德東街向西進攻。大約1個半小時以後，109團先後占領了南大槐樹北街以北、以東地區和道德東街、道德南街等地區。在109團奪取陣地以後，111團也開始向縱深發展，殲滅了敵人整編第2師211旅一個營大約1000多人。
3營接到任務以後，立刻在營長劉坤的帶領下，從西卡子門進入辛莊。劉坤知道現在急需快速向前，他索性將三個連一字排開，重武器部署在最前面，以猛衝猛打的方式前進。在3營的攻擊下，敵人頓時被打了個措手不及，紛紛向市區逃竄，部分敵人想要依靠地堡頑抗，也被3營9連炸毀。不一會兒，3營就從後面殺到了東卡子門。
在這個區域，東卡子門的防守者非常兇猛，火力十分猖狂，攻城的2營無法接近圍牆。劉坤和教導員王文商量後，決定由王文率領7連、8連從東卡子門右側包抄過去，劉坤率領9連順著城牆直奔東卡子門。
「現在是為人民立功的時候了。」王文一聲令下，3營全體指戰員隨即高喊著發起強大的衝擊。敵人三面受擊，頓時亂作一團，丟下武器向後逃跑。3營與2營配合作戰，一下子就占領了東卡子門。
「停止前進。」劉坤果斷地下達了命令，在向秦嗣照詳細了解情況後，他與教導員王文商量：師首長賦予的三項任務中已完成兩項，第三項任務是在拂曉前穿插到外城下的杆石橋待命。如果在這些街道和巷口與敵人逐點爭奪，一方面會拖延進程，另一方面會增加不必要的傷亡。所以，採取打洞穿牆、越房而過的辦法，出其不意地直插敵人的第二道防禦陣地外城，是一個更好的選擇。王文聽後，思考了一會，說：「這辦法很好，符合靈活機動的作戰原則，符合首長的決心，也能儘快完成我們所擔任的任務。」
劉坤和王文向各連幹部介紹穿越商埠的方案，大家都表示贊成。他們遇到敵人就儘量避開，避不開的留下戰鬥小組進行火力牽制，大部隊繼續前進；遇到小股敵人，則相應集中兵力快速將其殲滅；遇到圍牆和平房，就搭人梯翻過去；遇到鋼骨水泥建築物，則用小包炸藥炸開一個洞口，穿牆而過。
隨後，劉坤指揮9連連長秦嗣照，組織了3挺機槍，並用穿甲彈向正面樓房的牆體進行猛烈射擊，將牆壁打得粉碎。隨後，他們使用鐵揪、十字鎬等工具，在不到20分鐘的時間內就掏出了一個大洞。全營成功地穿過了牆壁。在穿插的速度太快的情況下，執行通信保障任務的電話兵非常辛苦，有時跟不上前進的隊伍。但這些電話兵都擁有單獨完成任務的能力，無論戰鬥到哪裡，都能把電話線架到那裡。
9月21日凌晨2點，3營進入汽車站一帶。劉坤向團首長作了報告，團政委謝尊堂非常高興：「乾得好啊！劉坤同志，你們在四面受敵的情況下，就像一把鋼刀插入了敵人的心臟。希望你們繼續加把勁，直插到外城底下。」即使在遭遇敵人火力的情況下，3營士兵的勇氣和果敢仍然使他們能夠消滅前方的敵人。
在天亮後，敵人突然意識到3營就在他們的周圍，隨即發起了瘋狂的進攻，城牆上的炮火也向他們傾瀉而下。3營指戰員沉著應戰，有時乾脆等敵人走到距離陣地僅有30米或20米的地方才開火，令敵人不知道我軍的人數，最終他們只好放棄進攻，原路撤退。
然而，敵人並未放棄，上午10點左右，他們調整了戰術並開始了新的進攻。這次，敵人採用了殘酷的手段，抓住了十幾個老百姓，讓他們走在進攻隊伍的前面，試圖讓他們為敵人阻擋我軍的子彈。面對這種無恥的行徑，前方的戰士不知道該如何應對，心情十分沮喪。
在這種情況下，劉坤下令：「各連保留幾名特等射手，從不同的角度進行超越射擊，其他戰士全部往後撤退。」
濟南城裡的群眾雖然第一次見到人民解放軍，但是所見所聞讓他們看清了解放軍與"遭殃軍"的區別，不約而同地站到3營這一邊。婦女們放下孩子為傷員包紮傷口，送茶喂湯；年輕人扲起水桶，端著臉盆，與戰士們一同撲向著火的房屋。經過一個多小時的戰鬥，敵人被殲滅，大火被撲滅，百姓也都得救了。