5月1日，國民革命軍收復濟南後，日軍於5月3日進入中國政府設立的山東談判部，殘酷殺害談判代表蔡公石，燒殺擄掠中國人民。在這種情況下，17000多人死亡，2000多人受傷，5000多人被俘。同時，日軍扣留車輛，切斷交通要道，占領行政機關。
五·三慘案的歷史經過是這樣的:1928年5月3日上午，濟南壹片祥和景象。然而，上午9時許，北伐軍士兵在日軍警戒區被擊斃，日軍突然開火，向國民革命軍發起進攻。中國軍隊損失慘重，但92師和93師奮起反擊，制止了日寇的囂張氣焰。然而，隨著日軍加緊進攻，中國軍隊被迫解除武裝。
蔣介石下令不抵抗，派蔡公石談判，但蔡公石被包圍，談判處陷入黑暗。日本兵把除蔡公石以外的人都綁了起來，蔡公石又鼓動其他人壹起聲討日軍，結果軍官下令全部處死。
蔣介石命令黃扁向日本政府提出嚴重抗議，但日本政府不予理睬，反而加緊進攻。蔣介石派羅家倫、趙、崔世傑、王等與日本談判，都被日本轟了回來。蔣介石給張群發了壹份急電，要他在東京與日本當局直接談判，但日方意圖明顯，要控制蔣介石的勢力，阻止北伐軍北上。
蔣介石最終決定撤出濟南，日軍於5月11日入城，開始大規模屠殺。濟南軍民死傷17000余人，引起了全世界的公憤。
五·三慘案導致國民黨政府放棄開啟抗戰時代的希望，加劇了中國國內的反日情緒，破滅了中日互信合作的希望。蔣介石決定暫時中止對北方的控制，集中力量鞏固他在南方的統治。濟南事件對中國的歷史發展產生了重大影響。