張維屏《松軒隨筆》記：“稚威先生自言，所作當在儲畫山、方望溪、李穆堂三人之上……其平日負氣不肯下人，即此可見”。他並且看不起死讀腐儒，曾說：“博學強記，自足誇人。然是要死的學問，不如我是不死的學問……壹肚皮書，而全無撰述，則身死而其書亦死”。（轉引自袁枚《牘外余言 》）同時的全祖望也對天遊深惡痛絕，稱其為“妄男子”，而文壇老大哥方苞，也對天遊了無好感。
胡的第壹知己，當是鄭板橋。鄭在《濰縣署中寄胡天遊》壹信中說：“人生不幸，讀書萬卷而不得誌，抱負利器而不得售，半世牢落，路鬼揶揄，此殆天命也夫！稚威曠代奇才，世不恒有，而乃郁郁不自得，人多以狂目之，嗟夫！此稚威之所以不遇也。雖然，以子之才，不遇何傷，子所為詩文，早已競傳於眾口，名公巨宦，大人先生，詩壇文場之中，莫不知有山陰胡天遊者。子即不遇，而子之才不因不遇而汩沒也，子何郁郁為？………以子之曠代奇才，將所經所歷者發而為詩歌，寫而為文章，我知異日必有勝過《秋霖賦》、《孝女李三行》之絕作出現”。
齊次風在胡死後為作集序，說：“曩者詞科之役，國內征士二百余人，畢集京師，才學各有專長，而言詩文工且敏，磊落擅奇才，下筆驚人，矯挺縱橫，不屑蹈常襲故，雄聲瑰偉，足與古作者抗力，必首推山陰胡稚威。此蓋棺論定也，稚威可以瞑目矣”。天遊自己也曾說：“古今人皆死，惟能文章者不死。”