語言不是壹夜之間突然出現的，但可以肯定的是，有別於漢語、朝鮮語等其他語言的日語，是在第壹批日本人進入日本列島開始與大陸隔絕的時候出現的，而日本列島在地理上與歐亞大陸分離的時間約在壹萬年前。當時島上生活著最早的原住民——繩文人，隨後北方的通古斯人進入日本。對於西方的朝鮮人和韓國人以及東南亞的南方人來說，日語其實是壹種原始繩語和其他外來民族的語言混合產生的語言，按照日本人自己的觀點來說。日語不屬於任何語系。其形成的具體時間還有待觀察，但既然文字肯定是在語言之後出現的，那麽就證明了語言的開始並不是文字出現並被用來記錄語言的時候就可以驗證的。
日本最早的文字文物大約是1世紀。當時日本學者用漢字來表達日語的聲音，稱為“訓讀”。在此基礎上發展出葉晚這個筆名，最早出現在日本最早的詩集《葉晚集》中。這種方法借用了漢語的語音功能，拋棄了漢語的結構。另外，漢語沒有靈活運用詞形，缺少助動詞。9世紀，以中國草書為基礎的片假名、平假名相繼問世，將日本文字徹底進化到了記譜法時代。