二十三歲，壹舉中舉，但因元末社會混亂，在家中待了三年，才被任命為縣丞。劉伯溫在縣丞任上，賞罰分明，不畏強權，秉公執法。他深受人民愛戴，受到下屬和上級的賞識。土豪士紳雖然恨他，但也拿他沒辦法。但是到了後期，朝中反對他的人越來越多。他最終辭職回家了。雖然在徐壽輝攻陷杭州後，他回朝為官了壹段時間，但因為痛恨元朝統治者的腐敗無能，他又辭職隱居了。
直到鄭錚二十年，他受朱元璋之邀，做朱元璋的謀士，為朱元璋建立明朝出謀劃策。因為劉伯溫通曉道術，在風水方面頗有造詣，所以他為自己選擇了壹處風水寶地，作為日後的墓地。而且這個墓地在風水學上有“九龍戲珠”的意思。劉伯溫死後，有涉案人員向朱元璋舉報。朱元璋害怕劉伯溫占領“龍氣”會顛覆明朝的統治，於是下令挖掘劉伯溫的墳墓。
士兵們在劉伯溫的棺材上開了壹個缺口，看到棺材裏有壹本《大明律》，上面寫著“開棺見屍者死”。也就是這部《大明律》的發布，打消了朱元璋對他的疑慮，知道劉伯溫至死心中都有大明，於是將棺材恢復原狀，下令撤走。