Иван Калинин — сын крестьянки, безотцовщина; родился в 1854 году. Рождение его было предвозвещено странствующими монахами, которые сказали: «На этом месте родится святой». Мальчик с юных лет отличался от своих сверстников. Он никогда не ел мяса, играя, крестил, венчал, отпевал, хоронил, лепил церковки, крестики из глины у родника, про который говорил: «Я родился и родник родился».
Учился в земской школе своего села Оленевка. Был слабого здоровья, зарабатывал себе на хлеб мелким ремеслом — вязанием шарфов и варежек, сапожным делом. С малолетства ночами вставал на молитву, молился со слезами, ограничивал себя в еде. Жил с матерью, а потом с овдовевшей сестрой в маленьком старом домике около местной Введенской церкви, где помогал священнику как алтарник, с семи лет читал, пел и канонаршил на клиросе. После смерти сестры заботился о четверых племянниках.
Еще в молодости Иван получил благословение на духовный подвиг у блаженной старицы Феоктисты. Юношей вёл подвижническую жизнь, странствовал по святым местам, а когда, возвращаясь, рассказывал людям о Киеве, Афоне, о Святой земле, а они, восхищаясь, завидовали ему, он утешал их: «Я один, живу как монах, а у вас семьи, дети, хозяйство. Вы в храм ходите, тут вам и Киев, и Иерусалим».
Во время Первой мировой войны к нему люди приходили с вопросом: жив ли, как поминать? Он отвечал кратко. Кому скажет: «Поминай за упокой», кому: «Жив, придёт», а кому: «Заблудился». А к одной женщине, шедшей к нему всё с тем же вопросом — как поминать, он сам вышел навстречу, говоря: «Беги скорее на станцию, встречай мужа».
До революции Оленевка была богатейшим селом с крепким хозяйством. Но в буре лихолетий всё это было разрушено. Сгорел и старый дом Ивана. Прихожане своими силами выстроили ему новый дом под железной крышей.
В 1920 году, 65-летним, был рукоположен целибатом в сан диакона архиепископом Иоанном (Поммером) в пензенском Спасо-Преображенском монастыре.
Служил вне штата в Оленевской церкви. Как священнослужитель был лишён избирательных прав. Отец Иоанн был широко известен, многие стремились получить у него духовное наставление или исцеление от болезней. В 1924году против него была развёрнута клеветническая кампания в местной печати. В результате у него отобрали дом, и он жил у родственников или духовных чад в соседних деревнях.
В 1930 году диакон Иоанн перебрался в построенный для него чадами небольшой дом-келью. В ней он прожил до самой кончины.
В том же 1930 году после ареста настоятеля оленевский Введенский храм был закрыт, и о. Иоанн стал служить диаконом в Троицкой церкви села Соловцовка, а также в храме села Николаевка. В июне того же года он вместе с клиром и прихожанами не допустил захвата Троицкого храма обновленцами во главе с прибывшим в Соловцовку обновленческим архиепископом Николаем Розановым.
8 апреля 1932 года о. Иоанн был арестован. Проходил по групповому делу «контрреволюционной организации церковников „Истинно православные“» вместе с большой группой сельского духовенства Пензенской епархии. Обвинялся в «агитации через посещающих богомольцев», в том, что «сеет религиозную заразу и ведёт скрытую работу, направленную на срыв мероприятий советской власти». На допросе отказался определить, к какому направлению православной церкви он принадлежит. Заявил, что поминает за богослужением патриаршего местоблюстителя митрополита Петра (Полянского) и пензенского епископа Кирилла (Соколова), а о митрополите Сергии (Страгородском) и гдовском епископе Димитрии (Любимове) ничего не знает.
14 мая 1932 года Особой тройкой при полномочном представительстве ОГПУ в Средневолжском крае был приговорён к высылке за пределы края на три года, но 22 мая его освободили под подписку о невыезде. Отец Иоанн вернулся жить в Оленевку. Пензенские священнослужители пользовались его советами по организации помощи неимущим, интересовались его мнением, как относиться к разного рода самозваным «пророкам».
30 января 1934 года отец Иоанн был задержан и помещён в тюрьму, но на следующий день освобождён под подписку о невыезде. На следствии дал показания: «Народ меня считает за праведника и прозорливца, я его не разубеждал в этом. Всем, кто приходил ко мне с жалобами или за советами, я давал эти советы, успокаивал и призывал к терпению». 26 февраля дело в отношении о. Иоанна было прекращено «вследствие его болезни и преклонного возраста».
Вопреки запретам властей, о. Иоанн продолжал принимать искавших у него совета и наставления. Служил в Соловцовке, а после закрытия тамошней церкви в 1935 году ездил служить в Успенской церкви села Князевка.
24 октября 1936 года по доносу о чтении духовных стихов после службы был арестован, помещён в районную тюрьму села Кондоль, затем в тюремную больницу. 28 ноября перевезён в тюрьму в Пензе. Обвинялся в том, что «распространял о себе слухи как о „прозорливом старце“, а посещение его верующими ряда сёл служило ему возможностью для возбуждения недоверия к советскому строю». На суде заявил: «Виновным себя не признаю. Люди ко мне ходили с горем, поговорить. Про советскую власть я никому и ничего не говорил».
19 марта 1937 года выездная сессия спецколлегии Куйбышевского областного суда приговорила его к шести годам заключения. Однако 26 мая 1937 года по ходатайству двоюродного племянника о. Иоанна, наркома юстиции Мордовской АССР Григория Калинина дело было пересмотрено спецколлегией Верховного суда СССР. Приговор был отменён. Освобождённый летом тяжело больной старец проживал в Пензе у духовных чад, а к концу лета вернулся в Оленевку, но из-за опасения ареста не был принят двоюродной сестрой. С плачем: «Везде гонения! и родные», еле шевеля ногами, побрёл в село Елизаветино, взяв только посох и епитрахиль. Только через два года смог отец диакон вернуться в родную Оленевку.
В октябре 1945 года верующие добились решения об открытии в селе Соловцовка ранее закрытого Троицкого храма. 2 сентября 1946 года храм был торжественно освящён епископом Пензенским Михаилом (Постниковым). За литургией владыка рукоположил 90-летнего о. Иоанна во иерея.
Последние годы жизни его почитали как старца, он ежедневно принимал богомольцев, являя дар прозорливости, духовничества, исцеления и утешения. Давал короткие советы и наставления, исполненные глубокого смысла, исцелял болящих. Не только православные, но и местные татары-мусульмане относились к о. Иоанну с глубоким уважением и часто обращались к нему за советом. Батюшка не ел ни рыбы, ни мяса, коленопреклонно молился ночами, спал в гробу. Продолжал служить по праздникам в соловцовской Троицкой церкви, что вызывало недовольство уполномоченного Совета по делам Русской Православной Церкви, требовавшего от епархиальных властей «прекратить указанные нарушения».
26 марта 1951 года старец был сильно избит неизвестными. Он предвидел день своей кончины.
Скончался 6 августа 1951 года, в 7 часов утра. Перед смертью о. Иоанн приобщился Святых Христовых Тайн. Панихиду в соловцовской Троицкой церкви служили четыре священника. Гроб с телом о. Иоанна несли на руках от Соловцовки до кладбища в Оленевке в сопровождении большой процессии верующих. Место для своего захоронения о. Иоанн при жизни выбрал сам.