Церковь Иоанна Искателя впервые упоминается в 1364 году, но часовня, вероятно, была построена уже в первой половине 13 века с одноименной больницей или сигом. Здание было снесено в 1559 году, чтобы русские войска, граничащие с городом, не могли использовать его в качестве базы, и было восстановлено в 1648 году.
В 1724 году церковь приобрела в значительной степени современный вид. Однако в 1888 году здание потребовалось снова отремонтировать — к этому времени относятся высокая скатная крыша церкви и шлем в стиле необарокко. Церковь Святого Иоанна, построенная для старых и больных в пригороде, представляет собой простое здание с низкими известняковыми стенами и деревянной башней. В то время как вход в церкви традиционно строился на западе, а алтарь — на востоке, первоначальный вход в церковь Св. Иоанна находился на юго-востоке, а каменный алтарь, сохранившийся до наших дней, находился в северо-Запад. В конце 1990-х церковь отреставрировали, бывший главный вход закрыли изнутри, а в дверном проеме поставили новый деревянный алтарь с алтарной стеной с более подходящим решением для арок.
До ремонта церковь принадлежала Римско-католической церкви, затем Лютеранской церкви, в первой половине 1960-х годов церковь была превращена в склад, была отреставрирована в 1998 году. С 1990-х годов церковь используется эстонской конгрегацией Святого Григория Армянской Апостольской церкви.