其實，《以辭害意》和《以詞害意》都可以用的。
首先，《孟子·萬章上》：“說《詩》者不以文害辭，不以辭害誌。”這裏用的是《辭》；
但清朝袁枚的《隨園詩話》卷七：“太白‘鬥酒詩百篇’，‘東坡嬉笑怒罵，皆成文章’，不過壹時興到語，不可以詞害意。”這裏用的又是《詞》字。
查《國學》、《康熙》等詞典也可以查出，《以詞害意》和 《以辭害意》都有相關詞條，也就是說，《辭》和《詞》在這個成語中都能夠用。
二、關於《意》和《義》
當然是用《意》了，這兩個字的意思區別很大的。