霜降節以大新縣下雷鎮最具特色，其來源與下雷土司傳說和慶豐收有關。相傳土司第十四世許文英，其妻岑玉音為湖潤土司的女兒，曾和其夫於清末一道騎牛到閩越沿海抗倭(一說抗安南)。因為岑玉音是騎著牛去打仗的，所以被稱為「婭莫」，「婭」是壯語裡對老年婦女的稱呼，「莫」即黃牛。
岑玉音抗侵略凱旋之日正值霜降節，為紀念許文英及岑玉音，下雷人民建起玉音廟(廟婭莫)，逢霜降日民眾扛著玉音的畫像舉行遊神活動。關於岑玉音的事跡有兩種不同的傳說，一說壯族婦女岑玉音箭術高超，勇敢過人，曾帶兵去廣東、福建沿海一帶抗擊倭寇。她用兵果斷，料事如神，多次打敗入侵的倭寇，得到皇帝的封賞，最後她解甲回鄉，直到逝世。人們因她曾在霜降這一天大敗倭寇，所以在這一天舉行祭祀以示紀念，逐漸形成為霜降節。
另一說是她和丈夫一起，為保衛壯族人民的安寧及財產，率兵抵禦入侵之敵，於霜降之日大獲全勝，故當地百姓慶祝三天，定為節日。每逢霜降的前一天，各地壯胞都到下雷附近各村寨借宿，次日清晨到玉音廟進行拜祭。據說清代時，當地州官也要備辦供品前來參加祭祀。群眾祭祀完後歸來，就近表演舞獅、演唱壯劇、民歌等活動，歡度懷念民族英雄的節日。節慶由此而來，已有三百多年歷史。
霜降節還與稻作族群的節期規律有關，是豐收節的一種形式。《歸順直隸州志》中關於「霜降節」的記載，裡頭有：「前一日，州城各戶裹粽，謂之『迎霜粽』。節間燃燭燒香，供祖先，給小孩。四鄉亦作糯米糍，謂之『洗鐮』。推原其故，蓋幸登場事竣也。」