1938年3月初，侵華日寇進逼臨沂邊境。3月下旬的一天，天剛放亮，日寇便闖進城北古城村。農民王漢友一家4口躲在地瓜窖里，被日寇用點燃的秫秸堵住窖口活活僥死。接著，日寇便放火燒房，農民王殿思背著被火燒傷的母親向外跑，被日寇看見開槍打死。一個躲在牆角的老太太也被日寇拖到火里燒死。
日寇在古城施暴不到一天的時間，古城村便變成一片廢墟。全村共被殺害62人。
同一天，另一股日寇竄進大嶺村，更是無惡不作。劉志賢母親的嘴巴、王富德母親的乳房均被割掉，姜志敏的父親及祖母等27人被槍殺。躲在村西觀音廟裡的數十名村民，除有2人逃脫外，其餘45人均被機槍打死。
在這起慘案中，大嶺全村300間房屋全被燒光，姜志茂、趙洪義、姜志順、張守信4家老少全被殺絕。與此同時，日寇飛機對城內瘋狂轟炸，一枚炸彈落在城內北大街路南一家雜貨店裡的防空洞上，洞內30多人被炸死。
在西門裡天主教堂避難的群眾也被炸死，同時還炸傷300餘人。日寇進城的當天，發現在城內西北壩子3個防空洞及西城牆根躲藏的群眾，先用機槍掃射，又用刺刀捅，480多人全被殘害。寧振芳家有10口人被殺死9口。
日寇的殺人手段更是無比殘忍，西門裡大公巷一個少女被日寇姦污之殺害。東營坊巷一女青年活活被輪姦致死。日寇還從南門裡一家雜貨店裡拉出20多人，全部用刺刀穿死。崔家巷一戶因小孩出麻疹，門口掛著一個紅布條，日寇認為是傳染病，點火將小孩燒死。
日寇搜查城隍廟東楊家園時，婦女們紛紛跳井自殺，頃刻之間死屍將整個水井塞滿，茶棚街胡士英家防空洞藏人較多，日寇堵住洞口用機槍掃射，並向洞內扔手榴彈，洞內難民全部遇難，北門裡一個70多歲的老太太已臥病數月，全家7口人因守護病人未及躲避，被日寇全部刺死。有一天，日寇驅趕著30多人，叫他們清掃街道，幹完活，用機槍全部射殺。
日寇在城內瘋狂屠殺了十餘日還嫌不夠，又在火神廟房和南門裡設了兩個殺人場，用軍犬咬、刺刀殺我居民取樂。此次臨沂大屠殺，日寇共殺死居民3000多人。