因為曹霸受到皇帝的寵愛，長安城內的王公貴族和官員家庭都以他的畫為榮。每個人都願意出高價買他的墨水。
在長安城北的太極宮，有壹座著名的靈巖閣。展館的四面墻上繪有24位唐朝開國英雄的肖像。這些畫像是著名畫家顏之本在70多年前畫的。由於年代久遠，原先栩栩如生的英雄畫像如今大多已經剝落，不僅失去了當年的風采，有些甚至難以辨認。於是，玄宗把曹巴叫來，讓他重畫。很難重畫英雄的肖像。曹霸讀了很多歷史，對照著英雄們暗淡的畫像，仔細琢磨，仔細構思，然後用毛筆畫出來。很快，二十四位英雄的畫像光彩再現，以全新的風格呈現在眼前。
曹霸既擅長畫馬，也擅長畫人物。有壹次，玄宗派曹霸進宮，當場讓人把他最喜歡的名馬叢牽進來，命曹霸畫。
曹霸讓侍從在殿壁上貼了壹張巨大的白綾，同時觀察了玉花齊很久，然後轉身快速揮動墨水筆。沒過多久，威武神君的玉花就展現在了白絹上。唐玄宗對此更加滿意，立即讓他的侍從為曹霸準備了許多金帛，並封他為左武威將軍。然而好景不長。唐玄宗任用李、楊等權臣後，喜好放蕩、奢靡、荒淫，長期不關心政治。曹霸也越來越少被召入宮作畫。後來因為壹件雞毛蒜皮的小事被定罪，被剝奪官職，降為平民，只好離開長安。
公元755年，安祿山、史思明造反，玄宗逃入四川。曹霸還去過成都，靠在街上畫路人為生，生活極其慘淡。
有壹次，著名詩人杜甫來成都，在朋友家看到了曹巴的《九馬》。當他得知這位著名畫家也在成都時，他立即去尋找。幾經打聽，終於在街上找到了曹霸。
杜甫了解了曹霸的生平和經歷後，十分同情，感慨萬千，還為他寫了壹首詩。詩中有兩行:“當精神離開偉大的政治家時，在名人堂的墻上，妳的筆尖保存了他們鮮活的面孔。」
這兩句詩的意思是:淩煙閣的英雄們失去了往日的鮮艷色彩，但多虧了妳左武衛將軍的書寫，他們又重新煥發了光彩。