Елисей был сыном помощника ревизора смоленской контрольной палаты Федора Штольдера. По служебной деятельности отца семья переехала из Смоленска в Ташкент, а затем в Москву. Елисей в 1902 году, будучи 19 лет от роду, окончил Ташкентское училище, а по переезде в Москву стал работать бухгалтером в отделе сборов в управлении Александровской железной дороги.
20 октября 1920 года назначен псаломщиком в храм Рождества Христова в поселке Немчиновка, а через несколько дней, 25 октября, митрополит Крутицкий Евсевий (Никольский) рукоположил его во диакона к этому храму.
Службу в храме он продолжал совмещать со светской работой. Но в 1924 году начальство узнало, что он священнослужитель, и уволило его. В 1934 году власти закрыли храм в поселке Немчиновка, и настоятель храма Алексий Соколов вместе с диаконом Елисеем Штольдером перешли служить в Никольский храм в селе Ромашково. Здесь отец Елисей прослужил до ареста в 1937 году.
В это время власти стали собирать сведения обо всех священноцерковнослужителях. Осведомители по требованию НКВД донесли, что ромашковский диакон Елисей Штольдер занимается просветительской деятельностью и ведет среди верующих антисоветскую агитацию. Верующих он вербует среди населения окружающих сел.
В июле 1937 года были вызваны на допрос лжесвидетели. Один показал, что, когда в 1933 году было решено закрыть церковь в Немчиновке, Штольдер вел агитацию среди жителей, чтобы они воспрепятствовали закрытию церкви; что диакон Елисей не простым был служителем, а убежденным церковником. Другой лжесвидетель сказал, что диакон Елисей перед праздником 1 мая в 1936 году посоветовал им этот праздник не отмечать, а лучше сходить в церковь.
8 августа 1937 года власти арестовали отца Елисея.
— Что вас заставило стать церковнослужителем?
— Первая причина — это мое собственное желание, а во-вторых, я еще с детства ощущал в себе призвание быть церковнослужителем и любил богослужение.
— Какие политические соображения у вас имелись при перемене вами образа и рода службы?
— При открытии церкви в поселке Немчиновка я по просьбе прихожан стал церковнослужителем, так как я и раньше был религиозен, и хотя и был в то время на советской работе, а дал свое согласие служить в церкви, так как это соответствовало моему желанию.
— Следствием установлено, что вы занимались контрреволюционной агитацией, дайте по этому поводу показания.
— Хотя я человек не вполне лояльный к советской власти, но антисоветской агитацией не занимался.
— Следствием установлено, что вы в 1933 году при закрытии церкви в поселке Немчиновка оказывали активное сопротивление. Дайте по этому поводу свои показания.
— В период закрытия церкви я никакой агитации не вел, а действовали мы вполне организованно, проводя собрания верующих, на которых обсуждался вопрос сохранения церкви; ходатайствуя перед Моссоветом, мы в течение двух недель церковь не закрывали.
— Свидетель обличает вас в том, что вы в беседе с ним в декабре 1936 года вели контрреволюционную агитацию, предрекая гибель советской власти. Почему вы это скрываете от следствия?
— В декабре 1936 года я с этим свидетелем не встречался и каких-либо контрреволюционных разговоров не вел.
— Какие у вас имелись разговоры в отношении политики существующего строя?
— Вопросы политики меня не интересуют, и каких-либо разговоров политического характера я ни с кем никогда не вел.
— Свидетель уличает вас в том, что вы в его присутствии высказывали свое мнение о несостоятельности советского строя в августе 1936 и в июле 1937 года. Почему вы это скрыли от следствия?
— С этим свидетелем у меня таких разговоров не было, хотя я с ним и встречался, но эти встречи были в 1933 году.
— Другой свидетель показал, что вы агитировали его в день 1 мая не ходить на первомайскую демонстрацию, а идти лучше в церковь.
— Этого свидетеля я знаю, встречи у меня с ним были, но каких-либо разговоров с ним у меня не было.
— Тот же свидетель уличает вас в том, что вы в его присутствии вели пораженческую агитацию, предсказывая гибель советской власти.
— Опять повторяю, что бесед у меня с ним никогда не было, в частности и тех, о которых он показывает.
— Признаете ли себя виновным в контрреволюционной деятельности? — в заключение допроса спросил следователь.
— Виновным себя в каком-либо контрреволюционном преступлении я не признаю, — ответил диакон Елисей.
19 августа 1937 года тройка НКВД приговорила его к расстрелу. Диакон Елисей Штольдер был расстрелян 20 августа 1937 года и погребен в безвестной общей могиле на полигоне Бутово.
