「四大皆空」，空在哪四個大呢?不懂佛法的人，會脫口而出：「酒、色、財、氣，就是四大皆空嘛!」其實，這與佛教所說的四大皆空，根本是牛頭不對馬嘴。
佛教所講的四大，是指「地、水、火、風」的四大物質因素。四大的觀念，也不是佛教發明的，這是人類對於宇宙本體的初期探索而得的結果，在東西方的哲學思想史上，幾乎有著同樣的趨勢。比如中國書經所記的「水、火、金、木、土」五行;印度古吠陀本集所說的世界形成，是基於「地、水、風、火、空」的五種自然因素;希臘古哲學家恩比多克裡斯(Empedocles)，也曾提出「氣、水、土、火」為宇宙間不變的四大元素。
總之，不論五行也好，五大也好，四大也好，都是指的物理界的基本元素，如果僅限於此而膠著於此，那麼，發展的結果，便是唯物論者，所以，這些思想，也是唯物論的先驅。
佛教講四大皆空，是沿用印度固有的思想而再加以深刻化及佛教化的，因為地、水、火、風的四大元素，是宇宙物理的，比如山嶽土地屬於地大，海洋河川屬於水大，陽光炎熱屬於火大，空間氣流屬於風大。如把它們化為人體生理，則毛髮骨肉屬於地大，血液分泌屬於水大，體溫屬於火大，呼吸屬於風大;若從四大的物性上說，堅硬屬於地大，濕潤屬於水大，溫暖屬於火大，流動屬於風大。但是，不論如何地分析四大，四大終屬於物質界而無法概括精神界的。
佛教所講的四大，也有小乘與大乘的不同。從大體上說，小乘佛教所說的四大，是指造成物質現象的基本因緣，稱為四大種，意思是說，地、水、火、風，是形成一切物質現象的種子，一切的物象，都是由於四大的調和分配完成;四大和諧，便會欣欣向榮，四大矛盾，便會歸於毀滅，物理現象是如此，生理現象也是如此，所以佛教徒把病人生病，稱為「四大違和」。小乘佛教觀察四大種的目的，是在使人看空我們這個由四大假合而成的色身，不以色身為實在的我，不因執取色身為我而造種種生死之業，一旦把我看空，便會進入小乘的涅槃境界，不再輪迴生死了。大乘佛教所說的四大，不是指的根本元素，而是指的物態的現象，是假非實，是幻非實，對於物象的形成而言，僅是增上緣而非根本法，雖也承認四大為物象的種子，但不以為四大是物象的真實面貌;小乘佛教因為只空我而不空法，所以雖把物象看空，仍以為四大的極微質——「法」是實有的。不過，小乘佛教不是唯物論，而是多元論，因為佛教的空不僅空去四大，乃要空去五蘊;四大，只是五蘊中的一蘊而已。
什麼又叫做五蘊呢?那就是：色、受、想、行、識，前一屬於物質界，後四屬於精神界，四大，便是色蘊。
五蘊是三界之內的生死法，空去五蘊，才能超出三界的生死之外。同時，我們由於五蘊的提出，證明佛教不是只講四大皆空，而是要進一步講五蘊皆空的。尤其重要的，佛教的重心，並不以四大為主，而是以識蘊為主，至於受、想、行的三蘊，也是識蘊的陪襯，乃是用來顯示精神界的功用之廣而且大的。