Участок земли, на котором ныне расположен храм, был приобретён Русской духовной миссией в Иерусалиме в 1909 году. Местные турецкие власти не давали разрешения на строительство храма, и начальник миссии архимандрит Леонид (Сенцов) предложил сначала построить трапезную для паломников, которые в то время прибывали в Хайфу морем. Руководил строительством церкви инженер Борис Гуревич.
В 1912 году Миссия начала ходатайствовать перед турецкими властями о разрешении перепланировать трапезную. К зданию пристроили алтарь, сделали иконостас из серого мрамора, поставили колокольню. В начале 1913 года разрешение было получено, этому помог юбилей Дома Романовых, в честь которого русский участок в Хайфе предложено было именовать «Романовским подворьем». Вопрос решился не так быстро, как того хотелось, и улаживание многочисленных формальностей потребовало дополнительного времени. 14 ноября 1913 года храм во имя Ильи Пророка был торжественно освящён Патриархом Иерусалимским Дамианом.
В отчёте Русской духовной миссии отмечается, что «храм Илии на горе Кармил близ города Кайфы — очень небольшой. В форме греческого креста и греческой архитектуры, — но для крайне немногочисленных паломников и немногочисленных местных православных жителей — арабов вполне достаточный. Иконостас небольшой, одноярусный, но хороший. Ризница и утварь небольшие. Вещи взяты в основном из Троицкого собора в Иерусалиме, а отчасти пожертвованы».
Размеренную жизнь храма прервала Первая мировая война, после чего приток паломников из России практически прекратился, и церковь большей частью бездействовала не имея священника. В 1920—1930-е годы в храме Илии Пророка служить арабский православный священник протоиерей Николай, который после смерти был похоронен на территории русского участка рядом с храмом. После этого службы в храме проходили от случая к случаю, когда приезжали паломники со священниками.
После образования государства Израиль объекты Русской Духовной Миссии, располагавшиеся на его территории, в том числе Церковь пророка Илии в Хайфе, перешли в ведение Московского Патриархата (ранее они находились в ведении РПЦЗ).
Весной 1991 года в храме Гроба Господня был рукоположён во священники Мирослав Витив, назначенный настоятелем храма в храм Илии Пророка. После приезда Святейшего Патриарха Московского и всея Руси Алексия II в том же году паломническая жизнь активизировалась, реставрировались храмы, появлялись новые священники.
В настоящее время храм является Подворьем Русской духовной миссии в Иерусалиме Московского Патриархата, Израиль. Расположен на горе Кармель.