蔡倫出生於1900多年前的東漢中期，但具體年份失考，有關記載蔡倫的史料都是劃了壹個“？”號，成了謎團。這可能是與他死後被“國”除名而缺失了檔案記載所致，也許是他本人早在為進皇宮當官宦便故意隱瞞年齡有關 。
據南宋開國侯、洋州剌史楊從儀於紹興二年，公元1132年所撰《漢龍亭侯蔡公墓碑》，稱蔡倫生於辛酉十壹。清光緒年間劉馨伯撰《洋縣誌備錄》，也稱蔡倫生於辛酉季秋。辛酉年是漢明帝永平四年，公元61年 。
《蔡倫年譜簡編》則將蔡倫生年記為公元63年 。 壹般的說法是蔡倫出生在今桂陽縣。在寶山腳下，俗稱蔡子坪這個地方。東漢官方史書《東觀漢記》和南朝宋人範曄的《後漢書》都是這樣記載的：“蔡倫字敬仲，桂陽人也”。燕塘鄉紅溪村蔡家現存的清乾隆三十四年續修的《蔡氏宗譜》，記述沿革時引續康熙八年序稱：“余始祖大漢受封龍亭侯諱倫字敬仲，住桂陽城南。”清同治《桂陽直隸州誌》載：“今州南門有蔡倫井，傳雲倫故居也” 。
但長期以來仍有些問題，尤其原桂陽郡兩個屬地對蔡倫故裏的具體地點爭論不下。桂陽郡治郴縣、耒陽縣也有可能是蔡倫的出生地。 史書上關於蔡倫造紙的記載十分簡略，只說他“造意”，“用樹膚、麻頭及敝布、漁網以為紙”。作為壹項偉大的發明，材料的選取、工藝的改進，需要花費大量的時間和精力，過程必然艱難曲折，涉及的技術問題也很復雜，擱在現代，寫幾十篇論文、幾部書都沒有問題，但史官卻十分吝嗇，只用了不足20個字全部交代完了。不過，這個記載雖簡略，卻很確切，認定紙的發明人是蔡倫，長期以來，成為定論。但近些年來，頗有人提出異議 。
人們認為紙是蔡倫發明的主要是根據《後漢書》的記載。《後漢書》的大部分原始史料，來自東漢官修史書《東觀漢記》。《東觀漢記》是東漢漢明帝劉莊在位時期（公元58年-公元75年），由大學士劉珍、班固等人執筆編寫的國史。其中蔡倫傳這壹篇，又是後來崔寔、曹壽和延篤等三人奉東漢漢桓帝之命在公元151年補寫的。這時距離蔡倫去世才30年。作者跟蔡倫是同時代人，因此有學者認為，《東觀漢記》記述的內容應該是真實可信的 。
有人認為，要查《東觀漢記·蔡倫傳》的原文，必須撇開明清輾轉相抄的輯錄本，直接從隋唐的古籍中尋找線索。因為那時的《東觀漢記》跟漢朝原本是比較接近的。如果拿隋朝《北堂書鈔》、唐朝《藝文類聚》和《初學記》等書所引用的《東觀漢記·蔡倫傳》中的文字，跟《後漢書·蔡倫傳》相對照，它們在內容上和提法上確有不同。隋唐時期學者引用的《東觀漢記·蔡倫傳》原文文字簡潔，而範曄所寫的文字詳盡；前者無“造意”二字，後者卻有“造意”二字。據此，有學者認為範曄寫《後漢書·蔡倫傳》可能有失真之處，甚至有部分虛構和杜撰的嫌疑 。
到了唐朝以後，更是有不少人對蔡倫發明造紙術提出異議。唐朝張懷瓘在《書斷》中寫道：“漢興，有紙代簡，至和帝時，蔡倫工為之。”意思是，早在漢朝初年，就已經用紙逐漸代替竹簡做書寫材料了。到東漢和帝年間（公元105年），蔡倫領導皇家作坊裏的工匠，改進和提高了造紙技術。北宋陳槱在《負暄野錄》中說，“蓋紙，舊亦有之。特蔡倫善造爾，非創。”南宋史繩祖在《學齋拈畢》中認為，“紙筆不始於蔡倫、蒙恬，……但蒙、蔡所造精工於前世則有之，謂紙筆始於此二人則不可也。 ”
但是，也有很多人堅持認為《後漢書》的記載是準確的，《後漢書》裏的蔡倫傳不可信的說法，缺乏深入考證。持這種觀點的人認為，《後漢書》和《東觀漢記》裏蔡倫傳的記載，經過查對《四庫全書》從《永樂大典》輯出的原文，兩相對照，文字大體相同。而記載中“造意”二字就意味著發明創造。而且，蔡倫壹度被視為罪人，冤死30年之後才恢復名譽，誰敢貿然不如實地給他立傳？更談不上誇大其詞地頌揚他了。因此，以記載蔡倫造紙最早的史書為依據，說他是我國造紙術的發明者，並不過分 。
1986年甘肅天水放馬灘的壹個漢墓裏，出土了壹張紙。這張紙又薄又軟，紙面平整光滑，上面有墨繪的山、川、路等。據考證，這是西漢早期用麻做的紙，也是目前世界上已知的最早的紙 。2010年7月出版的《中國考古學·秦漢卷》，根據20世紀以來的考古發現指出，“早在蔡倫之前的西漢時期，中國已創造出了麻質植物纖維紙。隨著西北絲綢之路沿線考古工作的不斷進展，在陜西、甘肅、新疆等地許多西漢遺址和墓葬中發現西漢不同時期制造的古紙，從而引起了造紙起源問題的大討論。 ”