在人类发展的早期阶段，食物缺乏，文化落后，尽管食物中也有“山珍海味”、蔬菜粮食，但烹饪方法原始，火烤和水煮是主要方法。当然，也不可能有今天的荤食、素食之分，更不可能有后世的素菜。
但是，早在春秋战国时期，即约三千年前，在王侯、贵族能够“酒池肉林”，大吃大喝，平民也有条件吃饱的情况下，鼓吹素食的典籍就出现了。当然，当时的贵族想到吃素菜，主要还是祭祀或重大典礼的需要。为了显示庄重，皇帝或部族首领在祭祀或重大典礼之前，要“斋戒沐浴”。最早的斋戒实际是一天或多少时间不吃饭（至今伊斯兰教“斋戒”仍是白天不吃饭），后来演变成在“斋宫”中素食，以表示对祖先、对鬼神的虔诚。于是，素菜产生了。
素菜名品中首推豆腐菜，而豆腐相传是西汉初期淮南王刘安发明的（即其幕下人或术士发明的）。1959—1960年在河南密县打虎亭发掘的一号汉墓中，有制豆腐作坊石刻，证实了关于豆腐发明于汉代的说法。豆腐的出现，首先拓宽了素菜的烹制领域。后来，张骞通西域，又带回了不少瓜果蔬菜，使素菜原料更丰富了。于是，在豆腐的故乡，当时十分繁荣的长江与运河交汇之处，也就是古九州之一的扬州，在孕育了古老的南味菜（淮扬菜的前身）的同时，也成了素菜的最早发祥之地。就是说，素菜烹饪文化是开发较早的，在中国烹饪文化的“北食”、“南味”时期就已经初步形成了。
魏晋南北朝时，佛教传入我国，并得到较大发展，全国南北各地佛寺林立。佛教与“吃素”本无关系。据佛经《戒律广本》记载，释迦及其弟子，托钵“化缘”，给什么吃什么，当然谈不上“吃素”。至今蒙族、藏族、傣族活佛和佛教徒也是什么都吃的嘛，素菜并非缘起于佛教。但是，正是南北朝末期，汉族的佛教徒却开始“吃素”了。这是佛教教义中“不结恶果，先结善因”、“戒杀放生”等思想，与中国儒家传统的观点“仁”结合的结果。由“戒杀生”到不吃动物食品，似乎是合乎逻辑的，因而也成了汉族佛教徒不吃荤的理论基础。于是，本意是吃饭的“吃斋”，同“茹素”被视为同一意思，从此，“吃斋”就是“吃素”了。
汉族佛教在南北朝时期的发展，以及在南北朝后期形成的“吃素”的理论，无疑对素菜的发展起了极大的推动作用。加上当时信奉佛教的帝王也竭力推崇素菜，使素菜发展很快。北魏贾思勰所著的《齐民要术》一书，就把素菜专门列做一章，记述了十一种素菜的制作方法。
到了隋唐时期，素菜已形成独特风味，与尚在形成期的四大地方风味菜系，几乎达到并驾齐驱的程度。在宋朝时，更有一批士大夫主张蔬馔清供，宋朝林洪还专门写了一本素菜书，名为《山家清供》。还有陈达叟的《本心斋蔬食谱》等，特别是到了南宋时，再次掀起了素菜的高潮，在北宋京城汴梁已有专门做素菜的菜馆。
在清朝时期，寺院素菜固然发展很快，民间素菜发展更快；在宫廷中供帝王享用的素菜，追求用料的奇珍、烹调的技法、外型的美观述意（如在菜上做出“寿”字），更使宫廷素菜达到很高的水平，成了与当时盛名的四大地方风味菜系并立的又一家菜系。