後來,祖逖和他的童年好友劉坤壹之擔任了泗州主簿。他和劉琨感情很深。他們不僅同床共枕,而且有著相同的崇高理想:建功立業,振興晉國,成為國家棟梁。
有壹次,在半夜,祖逖在睡夢中聽到了公雞的啼叫。他把劉琨踢醒,對他說:“別人都覺得半夜聽到雞叫不吉利。我不這麽認為。我們以後聽到雞叫就起來練劍怎麽樣?”劉琨欣然同意。於是每天公雞打鳴後,便起床練劍,劍光飛舞,劍聲鏗鏘。春去冬來,寒去夏來,永不停息。好事多磨。經過長期艱苦的學習和訓練,他們終於成為能寫好文章、能帶兵打勝仗的多面手。祖逖被封為鎮西將軍,實現了報效國家的願望。劉琨是北方的中郎將,掌管並州、河北、幽州三州的軍務,也充分發揮了自己的文采和軍事才能。