1936年2月，東北人民革命軍改為東北抗日聯軍。原六軍依次改為東北抗日聯軍1至6軍，再組建7至11軍。7軍軍長陳榮久、政治部主任鄭璐燕活躍在饒河、虎林、撫遠地區。第八軍軍長謝文東、政治部主任劉樹華活躍於依蘭、方正、勃利地區；第9軍軍長李華堂、政治部主任王克仁活躍於勃利、宜蘭壹帶。10軍，軍長，政治部主任侯，活躍在武昌和地區；11軍軍長戚誌忠、政治部主任金正國活躍在樺川、富錦地區。截至1937年底，東北抗日聯軍已發展3萬余人，先後在蓮花泡、杏山鎮、疏勒河、大蒲柴河、哈達河、撫松、西關街、佛山、冰塘子、依蘭、湯原、五道崗、輝南等地，在黑龍江、吉林、遼寧三省和70多個縣展開積極作戰。
從1938下半年開始，日偽軍集結重兵，大舉討伐抗日遊擊區。在此期間，謝文東、李華堂和鄭璐燕相繼叛逃。抗日聯軍在極其殘酷和困難的情況下繼續堅持鬥爭。抗日聯軍各軍先後組成1、2、3軍。但由於兵力分散，被迫遠征，損失很大。除黑龍江、嫩江平原新開辟的遊擊區外，各軍原有的遊擊根據地和山區秘密營地相繼失守，處境極為困難。到1942年初，大部分鬥爭受挫，各軍損失慘重。
北滿抗日遊擊戰爭第3、6、9、11軍，到1938年6月已與日偽軍交戰數百次，戰果斐然，但也損失嚴重。鑒於日偽在海倫地區統治薄弱，中國北滿臨時省委決定抵制上述部隊大部分向海倫的遠征，開辟新的地區。同年夏，除9軍主力留在原地堅持鬥爭外，其他各部先後從湯原、蘿北、綏濱出發，先後到達海倫、德都，依托小興安嶺在黑(龍江)嫩(江)平原開展抗日遊擊戰爭。1939年5月30日，上述各部合編為抗聯第三路軍，張守筏(又名李)任總司令，任政治委員。到1940，第三路軍先後開辟了朝陽山、阿榮旗、甘南等遊擊區，在訥河、德都、肇州、肇源等地打了勝仗，殲滅日偽軍數百人。
1939、10年6月，日偽軍調集7萬余人進行了以抵抗1路軍為主要目標的“大討伐”。1路軍分散打遊擊，進行了極其艱苦的反“討伐”作戰，先後打贏了安圖大沙河、紅旗河伏擊、突襲哈爾巴嶺站、天寶山銅礦等戰役，但1路軍也損失慘重。1940年2月23日，1路軍總司令兼政委楊靖宇被敵軍重兵包圍，壯烈犧牲。與此同時，抗聯二、三路軍也在與日偽軍的激戰中損失慘重。
由於鬥爭形勢惡化，各軍工作人員嚴重減少。10月24日至3月24日，1940，冀東、北滿省委代表召開聯席會議，決定采取保存力量，逐步縮小的方針，將各軍縮編為10隊，即65438團。第二路軍縮減為第二、第五、第八支隊。3路軍縮減為3、6、9、12支隊。4月，第三路軍首先完成縮編；次年4月和2月，第2路軍分別完成了第2和第5支隊的縮編。由於1路軍遠在南滿，聯絡中斷，仍打著幾個方面軍的名號作戰。直到1941年3月，二方面軍才降為1支隊。
1940年，日本關東軍師團數量增加到11，形勢日益嚴峻。為了保存實力，將1、2路軍和1路軍的大部分陸續轉移到中蘇邊境的蘇聯境內，並設立了南營，進行軍政整訓。第三路軍大部分繼續在黑嫩平原和大小興安嶺開展遊擊戰爭。1941年攻占甘南縣寶山鎮、慶安縣羅達鎮，攻打吉輝縣漢達氣金礦，激戰20余次。1942年2月，2路軍副總司令趙尚誌在鶴崗梧桐河攻打假警分局時被擊斃。隨後，第三路軍的大部分也轉戰中蘇邊境。1942年8月，南北露營合編抗日聯軍教導旅，周保忠任旅長，張守筏任政委。此後，教導大隊壹邊整訓，壹邊派出十幾支小分隊，在東北各地開展遊擊活動和戰略偵察。1945年8月，抗日聯軍教導旅配合蘇聯紅軍進軍東北參加對日反攻，後與八路軍、新四軍合編。
東北抗日聯軍在極其艱苦的條件下，長期獨立作戰，不僅延緩了日本侵略軍對整個東北的占領和戰略物資的掠奪，而且牽制了東北戰場數萬至數十萬的日本關東軍。全國抗日戰爭開始後，東北抗日聯軍在華北、華中、華南的抗日戰爭中發揮了戰略作用，為保障蘇聯遠東地區的安全和支援蘇聯人民的反法西斯戰爭做出了貢獻。