В 1790-1810-х гг. здание было перестроено и стало двухэтажным.
В 1873 г. новый владелец, Михаил Николаевич Рогов перестроил дом по проекту архитектора Л.Ф. Яфа.
В 1887 году дом приобрела Надежда Михайловна Июнева, приемная дочь банкира барона Л. Штиглица, которую считали внебрачной дочерью великого князя Михаила Павловича (ей и ее мужу, сенатору А. А. Половцову, председателю Русского исторического общества, принадлежал и дом напротив, в котором сейчас находится Союз архитекторов. Вероятно, именно тогда были созданы интерьеры первого и второго этажей с использованием резного и наборного дерева, сохранившиеся до нашего времени.
В 1897 г. дом купил действительный статский советник Иван Васильевич Рукавишников как приданое для своей единственной дочери Елены, и с 1898 года семья Набоковых постоянно жила в этом доме, вплоть до вынужденного отъезда из Петербурга в ноябре 1917 г.
В 1901 – 1902 гг. дом был капитально отремонтирован для семьи Набоковых – так был надстроен третий этаж, изменена отделка фасада и пристроен новый флигель во дворе, где квартиры сдавались внаем. Проект реконструкции и руководство работами выполнили архитектор М.Ф. Гейслер и инженер Б.Ф. Гуслистый. Михаил Федорович Гейслер был автором проектов многих зданий в нашем городе: Придворной певческой капеллы (под руководством Л.Н. Бенуа), Ольгинского детского приюта трудолюбия на Васильевском острове, жилого дома на Большой Зелениной улице, особняка М.Г. Савиной и часовни-усыпальницы в Троице-Сергиевой пустыни.
Фасад дома Набоковых – яркий образец архитектуры раннего петербургского модерна. Мозаика, украшающая фасад здания была выполнена в мастерской лучшего петербургского мозаичиста В.А. Фролова, автора мозаики церкви Воскресения Христова (Спаса на Крови) и здания Общества Поощрения Художеств (Большая Морская, 38). Металлодекор на фасаде был сделан на заводе Карла Винклера ( там же была сделана решетка Михайловского сада).
Важной деталью убранства здания стали витражные окна. Над входом находится витраж с традиционным для петербургского модерна орнаментом из разноцветных ромбов. Интересно, что мотив ромбов из цветного стекла встречается во многих произведениях Набокова, вплоть до позднего романа Посмотри на арлекинов. Великолепные витражи в окне второго этажа, выходящего во двор, выполнены в знаменитой мастерской Эрнеста Тоде в Риге.
В ноябре 1917 года семья Набоковых навсегда покинула свой дом на Большой Морской. Дом и все имущество, находившееся в нем, было национализировано.
В 1918 г. дом занял военный комиссариат Адмиралтейского района. С 1922 г. по 1935 г. в доме жили и работали сотрудники Северной телеграфной компании – датской компании, занимавшейся прокладкой телеграфа из Петрограда на Дальний Восток.
С 1948 по 1959 гг. в доме находился Ленинградский филиал Академии архитектуры, и именно тогда, вероятно, произошли самые значительные изменения в облике его интерьеров. В дальнейшем помещения первого этажа отошли Управлению по делам издательств, полиграфии и книжной торговли. Второй и третий этажи заняло Управление бытового обслуживания.
В 1990 г. первый этаж дома был передан Комитету по организации книжных ярмарок, а второй и третий этажи заняла редакция газеты "Невское время". В те же годы инициативная группа деятелей культуры выступила с инициативой открытия в доме Музея В.В.Набокова.

Музей В.В. Набокова был открыт как негосударственное учреждение культуры в 1998 году, к столетию со дня рождения писателя.
В 2008 году музей был преобразован в Музей В.В. Набокова Факультета филологии и искусств Санкт-Петербургского государственного университета.
Сейчас музей занимает первый этаж дома, где сохранились помещения столовой, гостиной и библиотеки. Бывшая «комитетская» комната, в которой исторический интерьер не сохранился, используется как выставочный зал. К моменту создания музея из предметов, принадлежавших Набоковым – мебели, книг, художественной коллекции – в доме не осталось ничего. Однако за годы работы музея, в основном благодаря бескорыстной помощи наших дарителей, удалось собрать значительную коллекцию и богатую библиотеку.
В настоящее время в выставочном зале музея постоянно проходят художественные выставки.