在過去，它被稱為衙門。實際上，衙門是由“衙門”轉化而來的。
在古代，野生動物鋒利的牙齒經常被用來象征力量。“衙門”是古代軍事用語，是軍營大門的別稱。當時戰亂頻繁，國王治國保家，完全靠武力，所以特別重視軍事將領。軍官們以此為榮，經常把野生動物的爪子和牙齒放在辦公室裏。後來因為麻煩，在軍營外用木頭刻成大動物牙，還有壹面旗桿末端有動物牙，邊緣被切成牙的牙旗。因此，營門也被形象地稱為“牙門”。
“衙內”原本是禁止官職的官職。在唐代，衙內被稱為“衙內”，就像“太子”、“公子”壹樣。元雜劇中的“衙內”是對當時蒙古官員的典故，包括元朝的國王、達官貴人和權臣。他們欺行霸市，勾結政府和富家子弟，幹涉民政，搶奪人民的財產或良家婦女，是令人憎惡和恐懼的人。在雜劇中，這樣有權勢的人物被無情地揭露和諷刺。
漢末，“衙門”成為軍營大門的別稱。這個名字逐漸轉移到政府。《武瓦文健記》中記載:“近俗尚武，謂府為‘公牙’，府門為‘牙門’，字稍誤，改為‘牙’。”唐朝以後，“衙門”壹詞開始流行。北宋以後，人們幾乎只知道“衙門”而不知道有“牙門”。