Памятник расположен на улице Народной (бывшей Посадской) недалеко от пересечения с Советским проспектом — бывшей Большой Московской дорогой, главной трассой, соединявшей Москву с Новгородом с конца XV в. через село Валдай.
Главный, восточный, фасад проходит вдоль красной линии. Здание кирпичное, двухэтажное, состоящее из двух объёмов — большого центрального, почти кубического, и малого дворового, у западного фасада, прямоугольного. Фасады объединены общим карнизом. К южному торцевому фасаду, вплотную примыкает каменное двухэтажное здание меньшей высоты (с деревянными дворовыми пристройками). На небольшом расстоянии к северу расположен деревянный дом №8.
Стены выложены из красного кирпича, фасады не оштукатурены. Южный и северный фасады завершаются фронтонами. Архитектурный облик здания выполнен в стиле эклектики. Первоначально дом, по всей видимости, был жилым. Не исключено, что на первом этаже размещалось торговое заведение. Наиболее значительные изменения в наружном облике и внутренней планировке произошли до 1946 г. в связи с приспособлением здания для размещения почты и телеграфа. Позднее дом ремонтировался, когда в нем устраивались жилые квартиры. На неоштукатуренных фасадах здания отчетливо видны следы перестроек. Заложен сквозной проезд в южной части здания. На главном фасаде на месте большого проема устроено окно, на дворовом фасаде проем заложен кирпичем. Центральное узкое окно главного фасада растесано и на его месте устроен вход в здание. При растеске стены разобрана часть полуколонны. Заложены окно и два дверных проема на западном (дворовом) фасаде. Разобрана деревянная пристройка, которая примыкала к северному торцевому фасаду. Сегодня дом Митрофановых — это памятник архитектуры, используется как многоквартирный жилой дом.