中國從明代開始進入了封建社會的晚期，封建統治者實行極權統治，宣傳唯心主義哲學，施行八股考試制度。在這種情況下，除珠算外，數學發展逐漸衰落。
16世紀末以後，西方初等數學陸續傳入中國，使中國數學研究出現壹個中西融合貫通的局面；鴉片戰爭以後，近代數學開始傳入中國，中國數學便轉入壹個以學習西方數學為主的時期；到19世紀末20世紀初，近代數學研究才真正開始。
從明初到明中葉，商品經濟有所發展，和這種商業發展相適應的是珠算的普及。明初《魁本對相四言雜字》和《魯班木經》的出現，說明珠算已十分流行。前者是兒童看圖識字的課本，後者把算盤作為家庭必需用品列入壹般的木器家具手冊中。
隨著珠算的普及，珠算算法和口訣也逐漸趨於完善。例如王文素和程大位增加並改善撞歸、起壹口訣；徐心魯和程大位增添加、減口訣並在除法中廣泛應用歸除，從而實現了珠算四則運算的全部口訣化；朱載墑和程大位把籌算開平方和開立方的方法應用到珠算，程大位用珠算解數字二次、三次方程等等。程大位的著作在國內外流傳很廣，影響很大。
1582年，意大利傳教士利瑪竇到中國，1607年以後，他先後與徐光啟翻譯了《幾何原本》前六卷、《測量法義》壹卷，與李之藻編譯《圜容較義》和《同文算指》。1629年，徐光啟被禮部任命督修歷法，在他主持下，編譯《崇禎歷書》137卷。《崇禎歷書》主要是介紹歐洲天文學家第谷的地心學說。作為這壹學說的數學基礎，希臘的幾何學，歐洲玉山若幹的三角學，以及納皮爾算籌、伽利略比例規等計算工具也同時介紹進來。
在傳入的數學中，影響最大的是《幾何原本》。《幾何原本》是中國第壹部數學翻譯著作，絕大部分數學名詞都是首創，其中許多至今仍在沿用。徐光啟認為對它“不必疑”、“不必改”，“舉世無壹人不當學”。《幾何原本》是明清兩代數學家必讀的數學書，對他們的研究工作頗有影響。
其次應用最廣的是三角學，介紹西方三角學的著作有《大測》《割圓八線表》和《測量全義》。《大測》主要說明三角八線(正弦、余弦、正切、余切、正割、余割、正矢、余矢)的性質，造表方法和用表方法。《測量全義》除增加壹些《大測》所缺的平面三角外，比較重要的是積化和差公式和球面三角。所有這些，在當時歷法工作中都是隨譯隨用的。
1646年，波蘭傳教士穆尼閣來華，跟隨他學習西方科學的有薛鳳柞、方中通等。穆尼閣去世後，薛鳳柞據其所學，編成《歷學會通》，想把中法西法融會貫通起來。《歷學會通》中的數學內容主要有比例對數表》《比例四線新表》和《三角算法》。前兩書是介紹英國數學家納皮爾和布裏格斯發明增修的對數。後壹書除《崇禎歷書》介紹的球面三角外，尚有半角公式、半弧公式、德氏比例式、納氏比例式等。方中通所著《數度衍》對對數理論進行解釋。對數的傳入是十分重要，它在歷法計算中立即就得到應用。
清初學者研究中西數學有心得而著書傳世的很多，影響較大的有王錫闡《圖解》、梅文鼎《梅氏叢書輯要》(其中數學著作13種***40卷)、年希堯《視學》等。梅文鼎是集中西數學之大成者。他對傳統數學中的線性方程組解法、勾股形解法和高次冪求正根方法等方面進行整理和研究，使瀕於枯萎的明代數學出現了生機。年希堯的《視學》是中國第壹部介紹西方透視學的著作。
清康熙皇帝十分重視西方科學，他除了親自學習天文數學外，還培養了壹些人才和翻譯了壹些著作。1712年康熙皇帝命梅彀成任蒙養齋匯編官，會同陳厚耀、何國宗、明安圖、楊道聲等編纂天文算法書。1721年完成《律歷淵源》100卷，以康熙“禦定”的名義於1723年出版。其中《數理精蘊》主要由梅彀成負責，分上下兩編，上編包括《幾何原本》、《算法原本》，均譯自法文著作；下編包括算術、代數、平面幾何平面三角、立體幾何等初等數學，附有素數表、對數表和三角函數表。由於它是壹部比較全面的初等數學百科全書，並有康熙“禦定”的名義，因此對當時數學研究有壹定影響。
綜上述可以看到，清代數學家對西方數學做了大量的會通工作，並取得許多獨創性的成果。這些成果，如和傳統數學比較，是有進步的，但和同時代的西方比較則明顯落後了。
雍正即位以後，對外閉關自守，導致西方科學停止輸入中國，對內實行高壓政策，致使壹般學者既不能接觸西方數學，又不敢過問經世致用之學，因而埋頭於究治古籍。乾嘉年間逐漸形成壹個以考據學為主的乾嘉學派。
隨著《算經十書》與宋元數學著作的收集與註釋，出現了壹個研究傳統數學的高潮。其中能突破舊有框框並有發明創造的有焦循、汪萊、李銳、李善蘭等。他們的工作，和宋元時代的代數學比較是青出於藍而勝於藍的；和西方代數學比較，在時間上晚了壹些，但這些成果是在沒有受到西方近代數學的影響下獨立得到的。
與傳統數學研究出現高潮的同時，阮元與李銳等編寫了壹部天文數學家傳記—《疇人傳》，收集了從黃帝時期到嘉慶四年已故的天文學家和數學家270余人(其中有數學著作傳世的不足50人)，和明末以來介紹西方天文數學的傳教士41人。這部著作全由“掇拾史書，荃萃群籍，甄而錄之”而成，收集的完全是第壹手的原始資料，在學術界頗有影響。
1840年鴉片戰爭以後，西方近代數學開始傳入中國。首先是英人在上海設立墨海書館，介紹西方數學。第二次鴉片戰爭後，曾國藩、李鴻章等官僚集團開展“洋務運動”，也主張介紹和學習西方數學，組織翻譯了壹批近代數學著作。
其中較重要的有李善蘭與偉烈亞力翻譯的《代數學》《代微積拾級》；華蘅芳與英人傅蘭雅合譯的《代數術》《微積溯源》《決疑數學》；鄒立文與狄考文編譯的《形學備旨》《代數備旨》《筆算數學》；謝洪賚與潘慎文合譯的《代形合參》《八線備旨》等等。
《代微積拾級》是中國第壹部微積分學譯本；《代數學》是英國數學家德·摩根所著的符號代數學譯本；《決疑數學》是第壹部概率論譯本。在這些譯著中，創造了許多數學名詞和術語，至今還在應用，但所用數學符號壹般已被淘汰了。戊戌變法以後，各地興辦新法學校，上述壹些著作便成為主要教科書。
在翻譯西方數學著作的同時，中國學者也進行壹些研究，寫出壹些著作，較重要的有李善蘭的《《尖錐變法解》《考數根法》；夏彎翔的《洞方術圖解》《致曲術》《致曲圖解》等等，都是會通中西學術思想的研究成果。
由於輸入的近代數學需要壹個消化吸收的過程，加上清末統治者十分腐敗，在太平天國運動的沖擊下，在帝國主義列強的掠奪下，焦頭爛額，無暇顧及數學研究。直到1919年五四運動以後，中國近代數學的研究才真正開始。