鴉片戰爭以來，西方國家無論大小在華均可攫取種種特權，這深深刺痛了黃遵憲的民族自尊心。門戶被迫開放後，中外政府和民間的摩擦糾紛不斷產生，其結果總是以中方權利受損而結束。
黃遵憲逐漸認識到，正確地認識外國政治法律制度，妥善處理涉外事務乃是報效國家之正路。他通過實地考察“教案”，發現中國現有的法律制度與西方法律制度存在巨大的差異，正是這種差距成為西方列強迫使中國放棄“治外法權”的口實。於是，在黃遵憲獨立自由研究的思想體系中，增加了對法律問題的關註和思考，這是他憲政思想產生的又壹契入點。
1871年，中國與日本締結了《中日修好條規》。黃遵憲受命出任第壹任駐日參贊。在日期間（1877－1882）黃遵憲對原屬於中華法系的日本在法律制度方面發生的巨變，認真進行實地調研並開始著手撰寫《日本國誌》，以期為中國擺脫困辱提供借鑒。黃遵憲清醒地認識到，日本脫亞入歐，走上了近代化，在政治方面壹個根本的標誌是結束了東方的人治傳統模式，走向西方式的法治社會。於是，黃遵憲在對日本全面的評介中留意其法律的進步，尤其是關註日本憲政制度的變化，從而逐漸形成他的憲政思想。
黃遵憲花費8年時間完成的《日本國誌》，***12誌40卷50萬字。此書“是近代中國研究日本的集大成代表作”。黃遵憲在《日本國誌》對日本剛剛進行的西方式的憲政改革的介紹和他初步形成的憲政思想，對於處在與日本明治維新前同樣困境的清政府來說，是非常急需參照的理論和經驗。但遺憾的是，黃遵憲的《日本國誌》書稿完成8年後（1895年）才得以正式刊行。隨著近代中國民族危機日益加深，中國法制已經到了非改不可的程度。在尋求中國法律改革之路過程中，黃遵憲的《日本國誌》開始受到清末各個階層的重視，並逐漸融入進中國近代憲政理論和實踐之中。
引用古籍據薛福成序，黃遵憲編纂《日本國誌》時“采書至二百余種”，這些書籍包括中日兩國的正史、野史、筆記、雜錄等。其中日本史籍有德川光國的《大日本史》，青山延光的《國史紀事本末》，賴山陽的《日本政記》、《日本外史》，巖垣松苗的《國史略》，蒲生秀實的《山陵誌》、《職官誌》，以及《日本書紀》、《續日本紀》、《日本後紀》、《續日本後紀》、《文德天皇實錄》、《日本三代實錄》、《懷風藻》、《扶桑集》、《扶桑略記》、《淩雲集》、《延喜式》、《類聚三代格》、《吾妻鏡》、《徂徠集》、《江戶繁昌記》等。
另據研究，《禮俗誌》中不少條目多采自江戶時期漢學家村瀨栲亭的漢文著作《藝苑日涉》。而有關明治維新 後的資料，據黃遵憲介紹，“所據多布告之書，及各官省年報”，可知主要采自明治政府的太政官布告以及各省官年報。據考證，《地理誌》所據材料，多采自地理寮地誌課本、明毅等編撰的《日本地誌提要》。