根據李白自述及其好友們的述說，李白是唐玄宗的族祖，出身顯赫。在《贈張相鎬》壹詩中，李白自述道：“家本隴西人，先為漢邊將，功略蓋天地，名飛青雲上。”李白的族叔李陽冰在《草堂集序》中說：“李白，字太白，隴西成紀人，涼武昭王祜九世孫。蟬聯世為顯著。”從“先為漢邊將”分析，李白應是“飛將軍”李廣的第二十五代孫，屬於西漢李陵、北周李賢、隋朝李穆壹系的後裔。從“涼武昭王祜九世孫”分析，肯定李白是唐玄宗的族祖。既然李白是李廣、李祜之後，有人推斷，他應該是唐太宗李世民的曾侄孫。他的曾祖父可能是李世民的哥哥或弟弟中的壹個。
那麽，唐玄宗在天寶元年曾下過詔書，準許李的子孫登記上皇族的戶口，為什麽李白壹家卻沒有去登記呢？後來，李白進入翰林院，多次見到皇帝，為什麽也沒有提到此事？即使到了晚年，他的處境很艱難，求人推薦的心情十分迫切，也沒有向人提起過這壹段家事？結論只能是，李白的先人李陵及李世民的兄弟，都曾因罪遭貶謫，尤其是可能牽涉到“玄武門之變”這場“宗室恩怨”中來，因此，李白生前不敢將此事寫成文字，而只在死後讓別人公諸於世。他是有難言之隱啊!
再從李白之父李客的經歷和處境，也可以對李白和身世之謎進行破解。李陽冰在《草堂集序》裏還寫道：“中葉非罪，謫居條支，易姓與名……（其父）神龍之始，逃歸於蜀。”李白好友範倫之子範傳正在《唐左拾遺翰林學士李公新墓碑》中也說：“絕嗣之家，難求譜牒，……隋末多難，壹房被竄於碎葉，流離散落，隱易姓名，故自國朝以來，漏於屬籍。神龍初，（其父）潛還廣漢，因僑為郡人。父客，以逋其邑，遂以客為名，高臥雲林，不求祿仕。”李客為什麽要“逃歸於蜀”或“潛還廣漢”呢？如果因為國破家亡，流落異域，那麽早就該返還原籍了。如果是因為觸犯刑律，流放邊疆，那麽時隔百余年，也無須“潛還”廣漢。總之，促使李客“逃歸”、“潛還”的真正原因不知為何？
有人進壹步分析，認為李客的“逃”、“潛”很可能與他的“任俠”、“避仇”有關。即李客或許是壹位扶危濟困或替人伸冤雪恨的俠客，由於觸犯了當權者，不得不避居窮鄉僻壤，隱姓埋名，以終其壹生。
如果上述推斷得以成立，那麽李白家世中的壹些疑難問題就可以有了些眉目了。他本人對自己家世的閃爍其詞及他的親友“為尊者諱”，“為親者諱”，使用壹些托詞和曲筆，也就有了答案了。
與此相反，有人考證，李白不是他自己所說的出身，而是西域胡人。他們認為，李白先人所竄謫的碎葉、條支，在隋末時，並未隸屬於中央政權的勢力範圍，當時也不可能成為竄謫罪人之地，因而李白不是漢人而是胡人。又分析李白之父李客的名字，認為他本不姓李，而是潛還蜀中後改的。其名為客，也是因為西域人的名字與華夏不通，所以稱為“胡客”，因此以“客”為名。另外、蜀中地區在隋朝是與西域胡人貿易往來的區域，“李客”或許是“商客”，他入蜀後因為富有漸成豪族。還有，李白“眸子炯然哆如餓虎”，相貌具有胡人的特征，又精通月支語，懂得少數民族的禮節。說李白是胡人也似有些道理。
但許多人對此予以駁斥。他們指出：
古時凡由漢民族居住區域移往外域，便稱為“竄謫”，李白先世移居西域並非因罪竄謫，且從時間上看，也不壹定在隋末。
其父名客，也可指外地去蜀的漢人，如果沒確鑿的證據說“李客”不姓李，不壹定就是胡人，而且去蜀前壹度改了姓，仍“有可能就是李姓胡客”的話，就不能肯定李白的先人是胡人。
李白之所以不得入宗正寺屬籍，造成終身蹭蹬，很可能是其先世與李唐宗室有糾葛，直至唐玄宗時這種舊隙仍未消除，通月氏語和懂夷禮並不難，即使是漢族人，如果他的家世與西域有關聯，完全可以學到。
李白雖貌似胡人，但漢族人中相貌具有胡人特征的也不少見，以此說李白是胡人，令人難以信服。
還有人提出第三種看法，認為李白先世既不是漢人也不是胡人而是漢胡兩族的混血兒。他們查證古籍，認為李白不是李祜之後，而是西漢名將李廣的嫡孫李陵的後代，是地道的漢之後裔。認為早在漢武帝時，李陵敗降匈奴，他在中原的妻兒老小統統被殺，後娶胡女為妻，其子孫隨胡人俗，改姓拓跋氏。到了隋朝末年，李陵的後裔蒙難又被流放到西域。李白的先世就屬於這壹支。這樣看來，李白帶有胡人的血統就不奇怪了。
上述有關李白身世的說法，都因相關的文字記載隱約其詞，很難圓滿，這個謎也許真的非常難解呢。