Иван Рудинский родился в 1867 году в селе Покровское-на-Сити Мологского уезда Ярославской губернии (ныне Брейтовский район Ярославской области). По окончании Ярославской духовной семинарии служил священником в родном селе.
В 1918 г. в Покрово-Ситской волости вспыхнуло крестьянское восстание против мобилизации в Красную армию, и отца Иоанна, храм которого находился на территории этой волости, позже неоднократно обвиняли в службе молебнов по просьбам восставших и призывах к активной борьбе с оружием в руках. Он избежал расправы, попав в больницу.
В 1920 году был арестован органами власти «за оскорбление должностного лица».
В 1926 году народным судом приговорен к денежному штрафу за «нарушение правил отделения церкви от государства», а в 1929 — за «укрытие коровы».
В 1929 году, когда началась массовая кампания по закрытию церквей и обложению высокими налогами церковного имущества, церковь обложили непомерным налогом, и в 1930 году колхозным собранием было постановлено церковь закрыть за неуплату налога. Тогда отец Иоанн обратился к верующим с просьбой собрать необходимые средства: «Православные, вы видите, как тяжело жить пастырям вашим, как берут с нас налоги представители соввласти, помогите нам, иначе мы должны будем уйти». На этот раз церковь удалось отстоять, причем сам священник отдал все, что у него было, и стал голодать. Прихожане принесли ему хлеба. К этому времени с церквей начали сбрасывать колокола. И эта скорбь была для батюшки тяжелее голода. Благодаря прихожан за участие, он сразу переводил их внимание на трагедию Церкви. «Вы теперь принесли мне хлебушка, спасибо, но не забывайте православную веру. По деревням ходят и хотят снять с церкви колокола, тогда она будет, что человек без языка». «Вот, православные, — со скорбью говорил священник, — приходит конец света, храмы Божии скоро закроют. Начинают сначала с колоколов, а потом и до зданий дойдет».
В феврале 1930 года отца Иоанна и служивших вместе с ним священника Иоанна Афонского и диакона Гавриила Неробова арестовали, по обвинению в «противодействии мероприятиям советской власти на селе». Отец Иоанн Афонский и отец Гавриил были приговорены к трем годам ссылки в Северный край, а Иоанн Рудинский был освобожден за недостаточностью улик.
После освобождения, в конце марта 1930 года, отец Иоанн вернулся в родное село, но в нем храм был захвачен обновленческим священником и переизбран церковный совет. От предложения служить вместе с обновленцем отец Иоанн отказался. 15 апреля 1930 года состоялось собрание верующих Покровской церкви, которое отвергло поддерживающий обновленцев церковный совет и ходатайствовало об освобождении отца Иоанна Афонского и диакона Гавриила. Собрание поддержало отца Иоанна Рудинского и вынесло решение: «Не желая состоять в обновленчестве, просить РИК дать разрешение на следующее собрание для восстановления всех старых членов совета и причта». Эта история и послужила причиной ареста отца Иоанна.
15 июля 1930 года он был арестован и приговорен к трем годам ссылки в Северный край, в Архангельскую область, на Лоденскую базу № 9 Северлеса.
Скончался на лесозаготовках 11 ноября 1930 года от непосильного труда.
