刘程之最初担任政府的参军,当时的王公大臣皆先后地引荐他高升其他的官职,刘程之都坚决地推辞。
当时慧远大师,居住在庐山的东林寺,修习念佛三昧,刘程之于是前往依止。慧远大师说:‘官禄显赫,云何不为呢?’刘程之说:‘晋朝没有磐石的坚固,有情众生却有累卵的危险,我又何必去作官呢?’当时南朝刘宋的皇帝刘裕因为刘程之不屈服于官禄,因此称他为“遗民”以赞扬他高洁的德行。同时有一些具有清净信心的士人,如宗悫、雷次宗、周续之、张野、张诠、毕颖之等人,也都来庐山依止慧远大师修行。于是大家在西方三圣像前,营建房舍创立莲社,一同修行净土法门,由刘程之镌刻石头立下誓愿,其文章曰:
‘因缘变化
理神固超绝,涉粗罕不群。孰至消烟外,晓然与物分。
冥冥玄谷里,响集自可闻。文峰无旷秀,交岭有通云。
悟深婉中思,在要开冥欣。中岩拥微兴,□岫想幽闻。
弱明反归鉴,暴怀傅灵薰。永陶津玄匠,落照俟虚斤。