林冲的妻子遭人调戏，林冲赶到后正待下拳，一看是高太尉之子高衙内，只好隐忍。这时的民间早已把高干子弟统称为“衙内”了。
“衙内”本来写作“牙内”，起源于一种官职。五代和北宋初年，藩镇的亲卫官的官衔是牙内都指挥使和牙内都虞侯，因为是藩镇的贴身护卫，职责是保护藩镇的安全，因此不敢随便用人，都起用官宦人家的子弟担任，只有这样才能放心，慢慢地就把官僚子弟称作“牙内”。
“牙内”之所以演变成“衙内”，跟“衙门”一词一样。“衙门”其实是“牙门”，后来大概觉得“牙”这个字不好看，于是采用同音字“衙”来替代了。“牙”特指象牙，古时候天子出行，要建“牙旗”，即在旗上饰以象牙，然后竖立起来，代表“门”，称“牙门”。牙旗远较其他的旗高大，以显示权威。这一制度始见于汉，张衡的《东京赋》中写道：“戈矛若林，牙旗缤纷。”后来牙旗逐渐从天子专用转而成为军营的大旗，“牙”也不再专限于象牙，别的猛兽的牙也可以装饰在旗上。牙旗是军营中最具有权威性的旗帜，传达和听取号令的时候，一定要聚集在牙旗下。
从隋唐时期开始，“牙门”一词的使用开始宽泛起来。封演的《封氏闻见记》载：“近俗尚武，是以通呼公府为公牙，府门为牙门。字稍谬讹变，转而为衙也。”从此之后，“牙门”变成了“衙门”，军事性质的“牙门”转变为官府的代称。
“衙门”虽然是官府的代称，但只是民间的俗语，正式的官府从来没有使用过“衙门”这一称谓，惟一的例外出现在晚清，1861年咸丰皇帝批准成立了“总理各国事务衙门”，简称“总理衙门”，是清政府为办理洋务及外交事务而特设的中央机构。
同理，衙门里的差役称“衙役”，也是由“牙役”讹变而来。