李白在《上安州裴長史書》中說：“以為士生則桑弧蓬矢，射乎四方，故知大丈夫必有四方之誌，乃仗劍去國，辭親遠遊”。
“三春三月憶三巴”（《宣城見杜鵑花》），李白對巴山蜀水懷有眷戀，因為他的少年是在四川度過的，在那裏開始了讀書學劍的生活。他自己說“十五好劍術，遍幹諸侯”（《與韓荊州書》），每逢酒酣或激情難抑時，就按劍揚眉，起舞吟嘯，或抒發壯誌，或釋放悲憤。酒友崔宗之說他“袖有匕首劍”（《贈李十二》）。李白也自述“高冠佩雄劍”（《憶襄陽舊遊贈馬少府巨》）、“錦帶橫龍泉（劍名）”（《留別廣陵諸公》），“撫劍夜吟嘯，雄心日千裏”（《贈張相鎬》其二），“願將腰下劍，直為斬樓蘭”（《塞下曲》其壹），“抽劍步霜月，夜行空庭遍”（《江夏寄漢陽輔錄事》），“起舞拂長劍，四座皆揚眉”（《酬崔五郎中》），“三杯拂劍舞秋月，忽然高詠涕泗漣”（《玉壺吟》），“停杯投箸不能食，拔劍四顧心茫然”（《行路難》其壹）。
豪俠的性格和漫遊的生活，練就了李白的劍術。他曾與人搏殺過，魏顥《李翰林集序》說李白“眸子炯然，哆如餓虎……少任俠，手刃數人”（《李翰林集序》），崔宗之在《贈李十二白》詩中也以“袖有匕首劍”、“雙眸光照人”這樣的句子描述其風度。很久以後，他和朋友敘舊，還興致勃勃地回憶當年殺出五陵惡少重圍的往事（見《敘舊贈江陽宰陸調》）。李白自己曾說“托身白刃裏，殺人紅塵中”（《贈從兄襄陽少府皓》）。後來他移居任城（今山東濟寧），自稱是“學劍來山東”（《五月東魯行答汶上翁》），年近不惑仍學劍不輟，而且學得非常認真，曾想拜擊劍大家裴旻為師——據裴敬《翰林學士李公墓碑》記載，李白曾寫信給裴旻，表示“願出將軍門下”學習劍技。