明朝的時候，杭州有個賣水果的人，很會儲藏柑橘。他保存的柑橘經過一個冬天和一個夏天都不會腐爛，柑橘皮又紅又滋潤，飽含著水分，像寶石一樣，非常美麗。柑橘的價格雖然很高，買的人卻不少。
有一次，明朝大臣劉基買了他一個柑橘，剝開皮卻臭氣沖天，再看裡面的果瓤，早就幹得像破棉絮了。劉基氣憤地責問道：「你為什麼弄虛作假欺騙顧客?」
賣柑橘的人笑了笑，說：「我做這個生意已經很多年了，而且就靠這個過日子。我願意賣，人家願意買，誰都沒意見，只有你這位先生不滿意。你可知道，當今世上欺騙人的多著呢!你不想想，那些腰間佩著兵符好像是保衛國家的武將，難道真有孫子、吳起的打仗本領嗎?那些頭戴烏紗帽、神氣十足的人，難道真是治國的人才嗎?其實他們也沒多大本領。人民的疾苦，他們根本就不管;官吏們胡作非為，他們也不制止。他們只顧自己吃飽了肚子，耗費國家的糧食和錢財，卻不知道羞恥。這些人和我賣的柑橘一樣，看起來非常光鮮亮麗，但是肚子裡什麼能耐都沒有。」
劉基聽了這番話，啞口無言。回到家裡後，他就寫了《賣柑者言》這篇文章，其中就有「金玉其外，敗絮其中」一句。
後來，人們用「金玉其外，敗絮其中」作為成語，比喻外表雖然很華麗，可是裡面卻已經一團糟了。