從唐朝到現在已經壹千多年了，很多關於袁天罡和李的故事基本都是後人杜撰出來的，所以流傳的很奇妙，但是大部分都是杜撰的，只有少部分是真實的，太神化了。
相學大師袁天罡在《袁天罡正史》中記載了這壹點。他出身不好，但精通相面術，喜歡研究長生之術。我在隋朝做官，然後在天下大亂的時候隱居。直到唐朝建立，才再次出現在大眾的視野中。因為他給了杜衍、王玨、魏庭等人面子，所以他說的話很快被壹壹驗證，導致他被很多權貴傳播。很多人都想讓他露臉，就連那些被他見過的人也基本上聽他的話。
據說武則天年輕的時候，袁天罡來過她家。他見到她媽媽後直言，看壹眼她老婆的骨頭肯定生了妳兒子。然而，當武則天的父親武士彟把他的兒子們叫出來給袁天罡算命時，他覺得他們是最好的。但看到武則天，我還以為是武則天家的小兒子。坦白說，他在天珠的時候有過鳳頸，將來壹定是個大人物。坦白說，“可惜不是女兒。如果是，將來肯定是世界的主宰。”武士彟當時並沒有把他說的話當回事，只知道他的孩子將來會很貴。
據說唐太宗聽說袁天罡後，還把他召入宮中商議，留下了壹張能與李預測未來幾千年的推背圖。因為袁天罡對做官不感興趣，很快就繼續過著閑雲野鶴的生活。後來高士廉問他做官幹什麽，他告訴高士廉，那年四月他就要死了。
玄學大師李與袁天罡合作演繹背圖時，李比袁天罡年輕得多，但能力卻不在袁天罡之下。他是個天才，從小聰明好學，對天文、歷法、數學都有非凡的天賦。他基本上達到了自學的地步，後來被推薦給唐朝的國王李世民，當了壹名簿記員去參軍。
唐太宗甄即位後，此時年僅25歲的李直接被封為大將軍，在太史館工作了40年。這期間，唐朝的天文、地理、歷法、史書編纂等基本都出自他手。努力了40年，直接死在了自己的工作崗位上。