關於本書的作者，《隋書·經籍誌》未曾著錄，而新舊唐書均著錄為東晉葛洪著。這是因為六卷本末有葛洪跋文壹篇。跋文言“洪家世有劉子駿《漢書》壹百卷，無首尾題目，但以甲乙丙丁紀其卷數。先父傳之。歆欲撰《漢書》編錄漢事，未得締構而亡，故書無宗本，止雜記而已，失前後之次， 無事類之辨。後好事者以意次第之，始甲終癸為十帙，帙十卷，合為百卷。洪家具有其書，試以此記考校班固所作，殆是全取劉書，小有異同耳。並固所不取，不過二萬許言。今抄出為二卷，名曰《西京雜記》，以裨《漢書》之闕。”這部書的作者是劉歆，葛洪不過將班固寫《漢書》不用的二萬余言抄錄出來，給它起個名字而已。但書中故事也並非全是葛洪杜撰，有些條目可能是他從當時所存典籍中 摘取來的。
葛洪(284—364)，字稚川，號抱樸子，東晉丹陽句容人，道教理論家， 其著作還有《抱樸子》、《神仙傳》等。
該書真正作者是誰至今還未有定論。
我國著名的歷史學家顧頡剛在《中國史學入門》書中曾明確指出:《西京雜記》這本書，講了漢朝的許多故事。書的作者是誰？沒有定論。有的說是劉歆，有的說是晉朝的葛洪，甚至還有吳均撰書之說。為研究工作帶來極大困難。
隋唐之際，特別是唐太宗繼位後，為了以史輔國，以古鑒今，非常重視編修歷史。當時的史官們盡博采史籍朝廷也命天下計書、搜訪異本，盡收其圖書古籍，但由魏征等人窮搜苦索而編纂的《隋書·經籍誌》卻對《西京雜記》的真正作者未能考究出來，所以只好不著撰寫人。400余年後，宋人黃伯思在《東觀余論》中采取折衷說法，謂《西京雜記》書中事皆劉歆所說，葛洪采之。後晉劉胞等人編纂的《唐書·經籍誌》則題名葛洪撰。清朝末年，壹批考證類的著作問世。但考證者對西京雜記壹書真正作者並沒有考證出名堂，作補的也未補出個頭緒來。
在近代學者專家的壹些著作中，對誰是誰非也各執壹說。如李宗鄴在《中國歷史要籍介紹》中說：《西京雜記》二卷集是劉歆所撰，《唐書·經籍誌》誤題為葛洪；但金少英《中國歷史要籍選讀》中卻肯定為葛洪撰。