此成語是來形容學問廣博，無所不知，出自於《敦煌變文章·伍子胥變文》中"吳國賢臣伍子胥，上知天文，下知地理，文經武律，以立其身。"
天文是指天文學，包括天文知識、天文歷法及各種天象，而地理是研究地球表面的地理環境中各種自然現象和人文現象及其相互關系。在古人的概念裏天文是最深奧神秘的學科，古人對其充滿了敬仰之情，由此來贊揚學識淵博之人。