垣榮祖少年時代就學習騎馬、射箭，曾有人對他說：“舞槍弄刀，十分危險，為什麽不走讀書之路！”垣榮祖說：“從前，曹操父子上馬手舞長矛，下馬提筆寫詩，這樣生在天地之間，才可說是不辜負天地養育之恩。像妳們這些讀書人，連保護自己的能力都沒有，跟犬羊有什麽區別！”