劉琨年輕時有壹個好朋友，名叫祖逖。西晉初期，在泗州(今洛陽東北)合作主簿。晚上，他們睡在壹張床上，談論國家大事，常常是深夜。
壹天晚上，當他們睡得正香的時候，祖逖被壹聲雞鳴吵醒了。祖逖向窗外望去，地平線上掛著壹輪殘月，東方尚未發白。
祖逖不想睡覺。他踢了劉坤壹腳。劉琨醒了揉揉眼睛，問怎麽回事。祖逖說，“聽著，這聲音不錯。它在提醒我們起床。”
兩人高高興興地起身，拿起掛在墻上的劍，走出家門，在清晨的光線下，帶著它翩翩起舞。
就這樣，他們天天壹起練武，壹起學習兵法，最後都成了有名的將軍。
公元308年，晉懷帝任命劉琨為並州刺史。當時並州被匈奴兵擄掠，百姓四處逃亡。劉琨招募1000多名士兵，冒著重重艱難險阻，於並州遷至晉陽(今山西省太原市西南)。
晉陽城裏，房屋被燒，荊棘滿地，壹片荒涼。我碰到壹些留下來的人，他們已經餓了。
劉琨看到這種情況很難過。他命令士兵們砍掉荊棘，掩埋屍體，重建房屋和城市。他親自帶兵鎮守城池，抵禦匈奴兵的進攻。他還采取了讓匈奴各部落互相猜疑的策略。後來壹萬多匈奴人投降了劉昆，連漢主劉淵都不敢進犯了。
劉琨召回所有被流放的人開墾荒地。不到壹年的時間，到處都可以聽到烏鴉和狗的叫聲，晉陽城也逐漸恢復了繁華。
劉聰攻下洛陽後，北方的西晉軍隊大部分潰散，只有劉琨在並州壹帶堅持戰鬥。晉武帝在長安登基後，派人立劉琨為大將軍，讓他統率並州軍務。
當時，漢朝大將石勒蘇益格占領郭襄(河北邢臺西南)，集結數十萬大軍奪取並州。劉琨南有劉聰，北有石勒蘇益格-荷爾斯泰因。前後夾擊，處境異常艱難。但是劉琨沒有害怕，沒有退縮。他在給晉獻帝陳的信中說:“我與劉聰、石勒不和。除非他們被平定，否則我永遠不會返回朝鮮。”
據說劉琨在晉陽的時候，晉陽曾經被匈奴騎兵包圍。晉陽城兵力太少，無法擊退敵人。所有人都慌了，但劉琨保持冷靜。晚上，他登上城樓，在月光下大聲咆哮，語氣悲壯。匈奴騎兵聽了，隨著嘯聲嘆息。半夜，劉琨讓胡笳(壹種樂器)演奏匈奴的曲調，這使塔爾坎想起了自己的家鄉，哭了起來。天亮了，城頭吱呀壹聲又響了，匈奴兵自動逃跑了。
後來劉琨聯系鮮卑首領壹起攻打劉聰，沒有成功。接著，石勒蘇益格攻打樂平(今山西昔陽西南)，劉琨出兵相救，幾乎被石勒蘇益格的伏兵全軍覆沒。就在這時，傳來了長安被劉聰攻陷的消息。此時，盡管劉琨頑強，也守不住並州，只好帶領殘兵向幽州進發。