Первые упоминания об усадьбе Раэ относятся к 1390 году. В 1503 году имение было отдано Герману Лоде. С 16 века поместье принадлежало Таллиннскому Яани Сегу, или больнице Св. Иоанна, являющейся хозяйственной усадьбой последнего. Отсюда и немецкое название усадьбы. Позже и эта усадьба, и имение принадлежали городу Таллинну (raele), который также дал месту его нынешнее название на эстонском языке. До 17 века в усадьбе (также) находились огромные поместья, которые впоследствии были разделены на несколько отдельных имений (Мыйгу, Лехмя, Каутяла). Вероятно (учитывая его важность) в усадьбе уже в средние века была каменная постройка, но она не сохранилась до наших дней. Нынешнее главное здание — одноэтажное каменное историческое здание с скатной крышей на высоком цоколе — было построено в [b]1850-х годах. Вероятно, несколько хозяйственных построек датируются одним и тем же временем. Они не составляли стильного регулярного ансамбля, а ограничивали длинную и узкую площадь перед главным зданием, служившую одновременно хозяйственным двором усадьбы. Усадебный парк был небольшим и располагался в виде небольшой рощицы только позади главного здания. Так как это была не частная усадьба, а городская усадьба, вход в центр усадьбы не был решен представительным образом. Двухкилометровая извилистая дорога (от старого маршрута Тартуского шоссе) вела не к центральной оси главного здания, а к зданию и небольшому парку, откуда входила в хозяйственный двор внутри здания. Главное здание усадьбы сохранилось более или менее в первоначальном виде. Напротив, хозяйственные постройки либо разрушены, либо в большей или меньшей степени отстроены заново.