羅聘為「揚州八怪」中最年輕者。
其父羅愚溪，康熙年間中舉，做過小官。羅愚溪生有五兒，羅聘排行第四。羅聘剛滿週歲時，父親去世。羅聘聰明勤奮，所讀之書，過目不忘。
因家境貧寒，讀書非為科舉，單求謀生，以賣字畫為業。
二十一歲時，羅聘與方婉儀結婚。方婉儀世代官宦，祖父和父親都入仕，但父親官職不大，家境不甚殷實，羅聘家境更為慘淡。結婚後，兩人情趣相投，談書畫，遊山水，賦詩詞，琴瑟和諧。
二十四歲時，拜金農為師，學詩習畫，常為金農代筆。
揚州鹽官盧雅語，家富，好與書畫名人郊遊，書畫名流以與之郊遊為榮。羅聘為其坐上貴客。鄭板橋等名流皆對羅聘刮目相看。
乾隆二十八年(1763)， 金農於揚州謝世，享年七十七歲。患病期間，羅聘服侍左右;去世後，羅聘盡其所能，料理喪事，並護送金農靈柩，歸葬浙江臨平。
乾隆三十六年(1771)，羅聘攜畫至京師拜謁名流，所作八幅《鬼趣圖》最受注意。
次年南歸，在天津因大雪受阻，整理金農詩作，並作後記。
四十七歲，二次赴京。其間，他曾畫蜈蚣、觀音、杜甫與韓愈像，又作過指畫。在外漫遊近10年，後因囊中羞澀而返里。返里後，仍以賣書畫為生。乾隆四十九年(1784)，應地方之請為重寧寺作大幅壁畫，畫中仙佛人物惟妙惟肖，傳為名勝，今已不存。乾隆五十五年(1790)，羅聘攜幼子允纘三上京師。其書畫不僅達官貴人求購，在京朝鮮人亦以重金收買。其時收入頗豐，但因豪爽揮霍，八年後還需別人資助路費，才得返回故里。
返鄉之後，作《梅花記歲圖》。
嘉慶四年 (1799)逝世，享年六十七歲。
三上京城
金農死後，羅聘入京賣畫，期間創作《鬼趣圖》，名聲鵲起。同鄉、大鹽商程晉芳勸羅聘：「斯圖即奇特，洗手勿輕試。」
當年秋，南下回鄉，依舊賣畫為業。其間遠遊中原，家中之事，未嘗關心。乾隆四十四年(1779)五月初，方婉儀正患病臥床，羅聘卻二次進京，一路遊玩，直至八月方到京城。方婉儀已於五月十九日病逝於揚州。
羅聘身居古廟，身無分文，欲回不能。百般無奈，手抄錄妻子所作詩一首，送與顯貴，冀能博得施捨，事與願違，仍無法弄到盤纏，苦挨數月，方回到揚州。
從此之後，羅聘不再畫鬼，改畫佛像。
又十年，年近花甲，三上京城。當此時已名聞畫界。至京城，士大夫登門求畫者甚多，一些在京的朝鮮人也攜重金購畫。羅聘揮金如土，游名勝，買古董，八年後，帶著小兒子回鄉時，居然又無路費!有人知道他要回鄉，便上門討債。羅聘只好連衣服都賣了，仍無法償清!
嘉慶三年(1798)，一位做鹽運使的朋友聞訊，資助羅聘的大兒子趕到京城，才把父親和弟弟接回揚州。
次年，這位「畫名甚高而生活甚苦」的畫家與世長辭。