李善蘭在數學研究方面的成就,主要有尖錐術、垛積術和素數論三項。尖錐術理論主要見於《方圓闡幽》、《弧矢啟秘》、《對數探源》三種著作,成書年代約為1845年,當時解析幾何與微積分學尚未傳入中國。李善蘭創立的“尖錐”概念,是壹種處理代數問題的幾何模型,他對“尖錐曲線”的描述實質上相當於給出了直線、拋物線、立方拋物線等方程
他創造的“尖錐求積術”。相當於冪函數的定積分公式和逐項積分法則。他用“分離元數法”獨立地得出了二項平方根的冪級數展開式結合“尖錐求積術”,得到了π的無窮級數表達式。各種三角函數和反三角函數的展開式,以及對數函數的展開式。
在使用微積分方法處理數學問題方面取得了創造性的成就。垛積術理論主要見於《垛積比類》,寫於1859~1867年間,這是有關高階等差級數的著作。李善蘭從研究中國傳統的垛積問題入手,獲得了壹些相當於現代組合數學中的成果。例如,“三角垛有積求高開方廉隅表”和“乘方垛各廉表”實質上就是組合數學中著名的第壹種斯特林數和歐拉數。馳名中外的“李善蘭恒等式”。
自20世紀30年代以來,受到國際數學界的普遍關註和贊賞。可以認為,《垛積比類》是早期組合論的傑作。素數論主要見於《考數根法》,發表於1872年,這是中國素數論方面最早的著作。在判別壹個自然數是否為素數時,李善蘭證明了著名的費馬素數定理,並指出了它的逆定理不真。