在希臘羅馬時期，有簡單的符號大致代表音級，很多詩歌都有節奏標記，如抑揚格和抑揚格。
在中世紀，音樂記譜法逐漸從早期的氣動記譜法發展到現代的五線譜記譜法。樂譜從單聲部逐漸增加到多聲部譜，開始有了不同的節奏標記。
從巴洛克音樂開始，樂譜出版事業蓬勃發展，極大地促進了音樂的傳播，並因為樂隊的發展和各種新穎樂器、技法的出現而增添了更多的符號。作曲家會仔細標註音量、速度、音色的變化。
隨著爵士樂和流行音樂的發展，許多樂譜都標有旋律、和弦標記和吉他指法。但是很多音樂都是直接演奏或者錄音，樂譜只是壹個大概的框架，不壹定每個細節都記錄的很詳細。中國流傳最早的樂譜是南北朝時期的古鋼琴譜《碣石調幽蘭》。早期的樂譜是書面樂譜，用文字詳細描述指法。後來，為了簡化記錄方法，唐末出現了減法譜來記錄指法動作、弦序、徽位。敦煌莫高窟收藏了許多唐宋以來的樂譜，其中包括許多琵琶樂譜。宋代道士姜白石的歌中出現了錄音高的民間字譜，證明了宋詞在當時是可以傳唱的。明、清兩代的戲曲，包括昆曲、京劇、粵劇和當時的許多器樂，都使用宮池記譜法。潮州音樂有自己獨特的24分。
民國時期，受西方和日本的影響，中國的校歌開始使用記譜法和五線譜。時至今日，無論是傳統音樂還是流行音樂，都是以簡譜和五線譜為主，但古琴的減號譜和戲曲的宮池譜仍在使用。