中國於漢、魏晉南北朝時稱日本為“倭”。“倭”，猥瑣矮小之意。 倭寇指十四世紀至十六世紀屢次騷擾搶劫朝鮮和我國沿海的日本海盜。（現代漢語詞典） 1903年，留日學生、革命家陳天華在《警世鐘》寫道“倘若中國也和日本壹樣變起法來，莫說是小小日本不足道，就是那英丶俄丶美丶德各大國恐怕也要推中國做盟主了。”這句話被認為是對日蔑稱的起源。 孫中山曾在日本發表演講稱“以數千年之歷史言，中國為兄，日本為弟”，也有學者據此認為這是“小日本”的稱謂起源之壹。 隨著日本發動九壹八事變，日本開始對中國侵略，為建立“大東亞***榮圈”，要中國民眾尊稱他們為“大日本帝國”、“大日本皇軍”。中國民眾貶稱日本侵略者為“小日本”，“小鬼子”，表達了對日本侵略者的憤怒之情，也表達了對其對自己稱謂中的兩個“大”字的諷刺。 抗日戰爭之後，各種抗日題材的影視作品層出不窮。在劇中的日本侵略者的形象多被惡意醜化，如專門找身材矮小、面容猥瑣的演員來扮演等等；劇中中國人民對其稱謂也多用“小日本”。由此，該詞逐漸被廣泛使用。