1943年，當時的蘇德兩軍正在激烈交戰，儘管蘇軍經過前期的巨大犧牲已經逐漸穩固戰線，但武器裝備的消耗仍然是一個大問題，比起對手狠抓軍隊質量，蘇軍的應對方法是用數量戰勝質量。當年夏天，炮兵元帥沃羅諾夫意識到炮兵的牽引車輛和戰鬥人員損失巨大，那些用卡車拖曳著艱難前進的火炮不僅無法及時跟上裝甲部隊進攻步伐，而且往往成為敵軍重點打擊對象，在大規模的進攻作戰中車輛損失幾乎能達到半數，沃羅諾夫於是提出了一種新的自行火炮，也就是OSU-76。
當時蘇軍已經擁有了SU-76，這種自行火炮既能執行遠程炮火打擊，也能擔任近距離炮火支援任務，就像是自行榴彈炮和突擊炮的結合體，這種武器最大的問題就是它隸屬於裝甲部隊，炮兵並不掌握它的使用權。也正是這個原因，新的自行火炮研製工作幾乎是強制進行的，或許這就是不同兵種之間的矛盾吧。
OSU-76選擇了SU-76的設計思路，只不過它作為一種炮兵裝備，在很多方面就更加的簡陋。底盤依然選擇T-60/T-70輕型坦克，與SU-76將底盤拉長了不一樣，OSU-76並沒有修改底盤，因此整體尺寸更小更緊湊。
自行火炮在底盤後部設置了一個半開放式的戰鬥部，正面和兩側有一定裝甲板保護，頂部可以安裝帆布頂棚抵擋惡劣天氣，全車大部分的區域都採用6毫米厚的軋制鋼保護，只是各自的傾斜角度有所不同，戰鬥室的正面裝甲板最厚，達到了10毫米，並且有25°的傾斜角。
火炮為一門居中安裝的ZIS-3型76.2毫米加農炮，本身車體底盤就小，火炮的安裝位置也更低矮，制退器等結構沒有SU-76那種保護外殼。火炮的右側是駕駛員，他擁有向前觀察的窗口，火炮左邊是炮手兼車長，他的背後是裝填手，發動機艙位於底盤前部。
1944年6月，OSU-76與SU-76一起進行測試，結果算是各有所長吧，OSU-76結構太緊湊，在人機工效方面肯定不如，更短的履帶觸地長度和更少的負重輪導致射擊不平穩；優點是OSU-76的機動性更好，能夠符合炮兵部隊的要求，而且它的發動機可以使用劣質燃油，也能使用繳獲的德軍燃油。
鑒於OSU-76的測試表現，加上它容易生產等特性，不僅蘇聯炮兵，蘇聯傘兵部隊也對它產生了興趣，在1946年年底的時候，軍隊希望設計部門解決掉那些已經發現的設計缺陷，然後就將迎來批量生產。
僅從外形來看，OSU-76與SU-76確實很相似，實際對比就會發現兩者尺寸有很大的差異，從功能上來看兩者又有高度重複的地方，設計師曾考慮給OSU-76安裝浮箱變成兩棲車輛，但這些想法沒能實現，因為另一個競爭對手ASU-76出現，OSU-76的研製工作隨著二戰的結束而結束。
OSU-76自行火炮空重約3.5噸，戰鬥全重4.2噸，車全長5米，寬2.15米，高1.56米，一台50馬力的4缸液冷GAZ-MM發動機提供動力，採用扭杆懸架，最大行駛速度41千米每小時，車內油箱容量120升，最大行程220千米，主炮為一門ZIS-3型76.2毫米加農炮，車內備彈30發，車組可自帶輕武器自衛。