津浦线中段的战役结束以后，敌人再度遭到重创，整个山东战场的局势发生了根本性逆转，我军的总兵力已经超过了敌军。更为重要的是，经过这几次战役以后，敌人第2绥靖区司令部所在的济南已经陷入了我军四面包围之中，进攻济南的时机已经成熟。
为了能够守住济南，敌人在这里部署了9个旅、5个保安旅，再加上特种部队，总兵力达到了11万人。负责指挥这些部队的将领是抗战名将王耀武，他在抗战期间屡立战功，所统率的74军更是敌人最为精锐的部队之一。为了守住济南，他在济南外围构筑了160多个支撑点，形成了600多平方公里的防御面积。再加上济南储备了大量武器弹药和粮食，使得王耀武很有信心能守住济南。
这次进攻中，华东野战军主要分为两个东西两个作战集团，首先攻占机场，切断敌人的退路和空运，打开攻城的道路，然后再集中力量攻打济南，歼灭济南的敌人。其中西作战集团以3纵、10纵、鲁中纵队、两广纵队为主，负责夺取机场和商埠，东作战集团以9纵、渤海纵队和渤海军区部队为主，负责扫清敌人在济南外围的据点，然后再配合西作战集团攻城。除此之外，13纵担任总预备队，在上港、窝铺一线集结，随时准备支援前线作战。
按照13纵司令员周志坚的部署，37师负责夺取白马山、丁家山、辛庄等阵地，直插到商埠地区，38师作为第二梯队，跟在37师后面前进，39师则负责扫清外围的残敌，保障37师、38师侧翼的安全。行动开始以后，37师111团趁着敌人刚刚接防阵地，还不熟悉情况，用奇袭的方式先后夺取了白马山和丁家山。
与此同时，37师109团、110团和111团2营直插向商埠。由于当时敌人正在往里收缩，37师在前进过程中经常会遇到敌人，到处都在问“哪一部分的”？因为天色太暗，敌人始终没有发现37师不是自己人。周志坚得知这一情况以后，当机立断让37师跟在敌人收缩部队后面前进，争取趁着敌人没有发觉，抢先进入商埠。
没想到的是，这个计划却因为一个意外而功亏一篑。111团2营到达商埠外围的卡子门时，正好遇到敌人整编第2师山炮营与保安第8旅23团在商量换防的事情。2营营长刘永山一看机不可失，立刻让6连趁机跟在山炮营后面混进去。一开始，6连1排已经接近了外壕，结果正好敌人阵地上响起了一声冷枪，6连一个机枪手以为敌人发现了，当即开枪还击，使得6连完全暴露了，只好直接强攻。
商埠位于济南西面，是敌人的主要阵地之一，敌人在正面挖掘了一条宽1.5米、深3米的壕沟，挖出的土往里翻，形成了一条3米高的围墙，围墙上修筑了地堡和机枪掩体。商埠的主要街道和房屋也都构筑了地堡，还有许多铁丝网、栅栏等障碍物，形成了一套严密的防御体系。敌人负责守卫商埠的部队，是整编第2师211旅、青年教导总队、保安第8旅、整编第74师172团。
当天晚上18点，13纵炮兵首先轰击敌人的防御工事。大约25分钟的炮击以后，炮火开始向纵深转移，37师109团、110团趁机出击，分别向辛庄西面的卡子门和东面的卡子门发起了进攻。负责进攻西卡子门的部队是109团1营，营长田军提前观察了敌人的部署情况，准备非常充分。刚刚开始进攻，2连和3连就连续爆破，炸毁了敌人的地堡和铁丝网，打开了一个突破口，1连立刻跟上，打退了敌人的反扑，稳住了突破口。
随后，109团2营和3营杀向敌人的纵深，2营沿着南大槐树南街向东北方向进攻，一直到达南大槐树南街东头，3营则沿着道德东街向西进攻。大约1个半小时以后，109团先后占领了南大槐树北街以北、以东地区和道德东街、道德南街等地区。在109团夺取阵地以后，111团也开始向纵深发展，歼灭了敌人整编第2师211旅一个营大约1000多人。
3营接到任务以后，立刻在营长刘坤的带领下，从西卡子门进入辛庄。刘坤知道现在急需快速向前，他索性将三个连一字排开，重武器部署在最前面，以猛冲猛打的方式前进。在3营的攻击下，敌人顿时被打了个措手不及，纷纷向市区逃窜，部分敌人想要依靠地堡顽抗，也被3营9连炸毁。不一会儿，3营就从后面杀到了东卡子门。
在这个区域，东卡子门的防守者非常凶猛，火力十分猖狂，攻城的2营无法接近围墙。刘坤和教导员王文商量后，决定由王文率领7连、8连从东卡子门右侧包抄过去，刘坤率领9连顺着城墙直奔东卡子门。
“现在是为人民立功的时候了。”王文一声令下，3营全体指战员随即高喊着发起强大的冲击。敌人三面受击，顿时乱作一团，丢下武器向后逃跑。3营与2营配合作战，一下子就占领了东卡子门。
“停止前进。”刘坤果断地下达了命令，在向秦嗣照详细了解情况后，他与教导员王文商量：师首长赋予的三项任务中已完成两项，第三项任务是在拂晓前穿插到外城下的杆石桥待命。如果在这些街道和巷口与敌人逐点争夺，一方面会拖延进程，另一方面会增加不必要的伤亡。所以，采取打洞穿墙、越房而过的办法，出其不意地直插敌人的第二道防御阵地外城，是一个更好的选择。王文听后，思考了一会，说：“这办法很好，符合灵活机动的作战原则，符合首长的决心，也能尽快完成我们所担任的任务。”
刘坤和王文向各连干部介绍穿越商埠的方案，大家都表示赞成。他们遇到敌人就尽量避开，避不开的留下战斗小组进行火力牵制，大部队继续前进；遇到小股敌人，则相应集中兵力快速将其歼灭；遇到围墙和平房，就搭人梯翻过去；遇到钢骨水泥建筑物，则用小包炸药炸开一个洞口，穿墙而过。
随后，刘坤指挥9连连长秦嗣照，组织了3挺机枪，并用穿甲弹向正面楼房的墙体进行猛烈射击，将墙壁打得粉碎。随后，他们使用铁揪、十字镐等工具，在不到20分钟的时间内就掏出了一个大洞。全营成功地穿过了墙壁。在穿插的速度太快的情况下，执行通信保障任务的电话兵非常辛苦，有时跟不上前进的队伍。但这些电话兵都拥有单独完成任务的能力，无论战斗到哪里，都能把电话线架到那里。
9月21日凌晨2点，3营进入汽车站一带。刘坤向团首长作了报告，团政委谢尊堂非常高兴：“干得好啊！刘坤同志，你们在四面受敌的情况下，就像一把钢刀插入了敌人的心脏。希望你们继续加把劲，直插到外城底下。”即使在遭遇敌人火力的情况下，3营士兵的勇气和果敢仍然使他们能够消灭前方的敌人。
在天亮后，敌人突然意识到3营就在他们的周围，随即发起了疯狂的进攻，城墙上的炮火也向他们倾泻而下。3营指战员沉着应战，有时干脆等敌人走到距离阵地仅有30米或20米的地方才开火，令敌人不知道我军的人数，最终他们只好放弃进攻，原路撤退。
然而，敌人并未放弃，上午10点左右，他们调整了战术并开始了新的进攻。这次，敌人采用了残酷的手段，抓住了十几个老百姓，让他们走在进攻队伍的前面，试图让他们为敌人阻挡我军的子弹。面对这种无耻的行径，前方的战士不知道该如何应对，心情十分沮丧。
在这种情况下，刘坤下令：“各连保留几名特等射手，从不同的角度进行超越射击，其他战士全部往后撤退。”
济南城里的群众虽然第一次见到人民解放军，但是所见所闻让他们看清了解放军与"遭殃军"的区别，不约而同地站到3营这一边。妇女们放下孩子为伤员包扎伤口，送茶喂汤；年轻人扲起水桶，端着脸盆，与战士们一同扑向着火的房屋。经过一个多小时的战斗，敌人被歼灭，大火被扑灭，百姓也都得救了。