Здание расположено на месте, где до 2-ой половины ХIХ в. проходил крепостной вал, срытый после указа 1862 г. «Об упразднении Оренбургской крепости». Осенью 1863 г. была закончена разбивка кварталов на месте бывших крепостных укреплений и проведены торги на новые домовые места.
Предположительно, в 1870-е годы на территории вновь образованного квартала № 258, напротив Хлебной площади был построен каменный особняк местного купца Сергея Михайловича Иванова.
Детей у Ивановых не было, уже в сорокалетнем возрасте они усыновили мальчика Петра. Жена купца Иванова, Мария Львовна, была известной в Оренбурге благотворительницей, содержала Ивановскую богадельню, располагавшуюся в небольшом деревянном доме на Солдатском переулке (совр. Диспансерный).
В 1880-е годы Сергей Михайлович задумал реконструкцию дома. Здание было увеличено во всю ширину домовладения вдоль Троицкой улицы (совр. Кобозева).
В 1890-е годы, после смерти мужа, Мария Львовна завещает свой дом на благотворительное учреждение. В нем была построена церковь, освещенная в 1899 г. во имя Святой равноапостольной Марии Магдалины.
Благотворительное учреждение С. и М. Ивановых помимо домовой церкви включало в себя богадельню на 20 женщин из привилегированных сословий и приют для девочек с двухклассной церковно-приходской школой. Как богадельня, так и приют содержались на средства, завещанные супругами С. и М. Ивановыми.
В 1917 г. на первом этаже богадельни открылось «Частное мужское среднее учебное заведение А.В. Бардина». Здесь же была и квартира основателя мужской гимназии.
После революции школа переехала в купеческий дом Нехорошева и была переименована в школу 1 ступени имени Карла-Маркса (сейчас гимназия № 2). В советское время в бывшей богадельне Ивановых было устроено городское профессиональное училище связи.
