最常用的稀疏矩陣存儲格式是壓縮列存儲或壓縮行存儲。
具有nnz個非零元素的稀疏矩陣需要用三個壹維數組表示:列指針、行指針和非零值，其中nnz個非零值數組按列記錄所有非零元素，相同維數的行指針記錄非零元素在每列中所處的行，n+1維的列註入向量記錄每列（包括n+1列）的起始位置。還有其他格式，如三元組表和鏈接存儲。符號稀疏矩陣只需要列指針和行指針兩個數組。此外，稀疏向量是稀疏矩陣的壹種特殊情況，它只需要用兩個指標和非零值的數組來表示。近年來，它在電路、電子結構等領域受到越來越多的關註。