Открытая им бесплатная школа с 1896 по 1899 годы размещалась в дачном доме педагога в Валдае (ныне дом 5 по улице Луначарского). Тогда в ней занимались 25 человек.
С 1899 по 1918 годы школа переехала в отдельное здание и число учащихся значительно выросло. Это каменный одноэтажный дом с пятью большими комнатами и подвальным этажом. Сейчас на фасаде этого дома 11/19 на перекрёстке улицы Луначарского и Комсомольского проспекта висит мемориальная доска. Во время работы школы Острогорского в Валдае на пять тысяч жителей было только две школы министерства народного просвещения. При этом обучение в них было платным. Помимо бесплатной школы, в 1900 году Острогорский открыл бесплатную