傳說中，人死後會在地獄之中遇到閻羅王的諸多下屬，其中兩位，便是牛頭馬面。可是，這二位獸面人身，人們對他們非但沒有敬畏，反倒經常拿來調侃別人的長相。
其實，牛頭馬面的形象，和下面這兩位官員有很大的關係……
隋朝的吏部侍郎牛弘，對皇帝盡忠盡禮，對屬下宅心仁厚，是個有口皆碑的好官兒。
吏部侍郎主要的事兒，是選官，也就是朝廷的HR。想當官兒的，都要到吏部來面試。正巧，這回來了個面試的人，形貌醜得侍郎大人都坐不住了。
選官隋文帝楊堅制定並完善「三省六部制」以後，六部之中，歷來以吏部的權力最大。為啥呢?因為吏部是決定什麼人當什麼官的衙門，多少有些類似於今天的中組部，比其他部門職權更重。而選官的事，一般部長(尚書)不出面，而是由副部長——侍郎出面。
只見吏部大堂上，「考官」牛弘側臥在一旁，嗑著瓜子，斜睨著下面的面試者。可這面試者的長相實在對不起面試官。一看面試者的名字，侍郎大人忍不住作詩諷刺：
嘗聞扶風馬，謂言天上下。
今見扶風馬，得驢亦不假。
原來，這面試者名叫馬敞，家在扶風。可長得卻實在是寒磣人。
扶風馬家人才輩出，三國時魏國的馬鈞，巧思絕世，發明了指南車、改造織綾機，改良了龍骨水車，甚至還改造過諸葛連弩，是中國古代最負盛名的機械發明家，很多人認為他是從天上下凡的神人。
可眼前，牛弘看到的這位「扶風馬」，卻長得像一頭驢，這「扶風馬」也是從天上下來的，卻是頭著的地……
頭著地了
被侮辱的馬敞被徹底激怒了，即使對方是吏部侍郎，是決定自己前程的「考官」，也豁出去了，立馬作詩懟回去：
嘗聞隴西牛，千石不用軥。
今見隴西牛，臥地打草頭。
隴西的牛力氣很大，即使是拉千石(一石為百斤)的重物，也不需要在車轅前用軥駕著;誰想今日一見，它只能臥在地上吃草，一點力氣也沒有啊!久聞牛大人威名，今日一見，呵呵……
這形容，真是——牛弘大人躺在那兒嗑瓜子，簡直和臥倒在地上吃草的牛一模一樣，牛大人聽了，想必心中有千萬匹草泥馬掠過吧……
侍郎大人
牛弘一聽，哈哈大笑，不僅沒一點責怪的意思，反而對這位「馬面」兄弟刮目相看，立馬給他安排了個肥差。
後來，「牛頭馬面」的形象逐漸流傳開來，成為一句調侃別人長相的俗語。在地獄裡，「牛頭馬面」和「黑白無常」一起，成了閻羅王的四大「護法」，就像「張龍趙虎、王朝馬漢」一樣，常伴閻羅王左右……