Вся служебная деятельность Макарова во флоте была неразрывно связана с его научной работой. Он не оставлял ее даже плавая в Балтике в должностях флаг-капитана шхерного отряда, флаг-капитана командующего практической эскадрой, командира броненосного фрегата "Пожарский", а затем командира корвета "Витязь", совершившего кругосветное плавание. Оригинальные, смелые предложения Макарова, внесенные им за этот период, охватывали самые разнообразные отрасли морского дела. Он занимался разработкой проекта мелководных судов для плавания по Аральскому морю и рекам Амударья и Сырдарья. Им был предложен метод ускоренного подъема паров на кораблях шхерного отряда, позволявший давать ход не через несколько часов, как было до того, а через 7,5минут. В 1883г. Макаров принимал участие в организации первой в истории парового флота перевозки на Балтике с учебными целями целой дивизии на военных судах. Эта перевозка дала основания для расчета десантов. На основе этого опыта Макаров разработал большое число приспособлений для подъема тяжестей и лошадей, а также для буксировки ботов и пр., составил детально разработанную в техническом отношении спецификацию шлюп-балок для разных кораблей. Командуя в 1885г. корветом "Витязь", Макаров сумел сочетать выполнение военных задач с большой и важной научной работой.
"Витязь" посетил ряд портов Европы, Америки и Японии и 8июня 1887г. пришел во Владивосток. Проплавав 1887-1888гг. в водах Тихого океана, корвет 20мая 1889г. вернулся в Кронштадт. Все плавание продолжалось 993дня. За это время корвет прошел 33412миль под парами и 25856под парусами. За время плавания были проведены ценнейшие гидрологические наблюдения над температурой и удельным весом воды, над течениями и грунтами. Вместе с тем Макаров внес много усовершенствований в использование оружия, в организацию службы на корабле и т.д. В итоге своего плавания Макаров представил "Замечания командира корвета флигель-адъютанта Макарова по всем частям, по окончании кругосветного плавания 1886-1889гг.". В этой работе были отражены самые разнообразные вопросы судовой жизни: она включала предложения о введении нумерации орудий, котлов, отсеков, шпангоутов; о постановке мин и стрельбе самоходными минами; о быстрой разводке паров; о приготовлении корабля к бою; по вопросам непотопляемости. По возвращении из кругосветного плавания Макаров написал новый капитальный труд - "Витязь" и "Тихий океан", удостоенный также премии Академии Наук и золотой медали Географического общества.
В 1890г. Макаров одновременно с производством в контр-адмиралы был назначен младшим флагманом Балтийского флота, а затем исполнял должность главного инспектора морской артиллерии. Хотя это была чисто административная, техническая должность, Макаров быстро освоился с новой для себя береговой обстановкой. Вскоре работа Макарова на посту главного инспектора морской артиллерии увенчалась успехом и принесла ему широкую известность как артиллеристу. Он изобрел для бронебойных снарядов названные его именем "макаровские колпаки" из мягкой стали, намного увеличившие пробивную силу снарядов. Секрет этого важного изобретения не был сохранен, и "макаровские колпаки" очень скоро появились во всех иностранных флотах и составляют принадлежность бронебойного снаряда по сей день. Никакого патента на свое изобретение Макаров не взял. Кроме "колпаков", он разработал правила снаряжения, окраски и хранения боевого запаса. Разрешение всех этих технических вопросов в те дни имело весьма большое значение.
В ноябре 1894г. Макаров был назначен командующим эскадрой Средиземного моря, стоявшей в Пирее, но в связи с ухудшением отношений с Японией эскадра была направлена на Дальний Восток, пришла в Нагасаки и, соединившись с отрядом кораблей Тихого океана, поступила в подчинение вице-адмирала Тыртова.
Эскадра Макарова прибыла на Дальний Восток в самый критический период переговоров с Японией. Царское правительство, опасаясь усиления Японии на Востоке, направило туда свой флот, чтобы оказать влияние на дипломатические переговоры с Японией и Китаем. То же сделали Англия и Германия.
Никакого боевого устава или разработанных тактических положений о ведении морского боя в те дни на флоте не было. Перед командующим соединенными морскими силами на Тихом океане встал вопрос, как вести морской бой? И несмотря на то, что Тыртов был по положению старше Макарова, он, не задумываясь, поручил Макарову написать приказ о том, как надлежит приготовлять корабли к бою и как вести бой. Составленный Макаровым приказ №21 содержал исчерпывающие указания по существу вопроса и был подписан вице-адмиралом Тыртовым без изменений.
Выполнение этого задания навело Макарова на мысль, что во флоте совершенно не разработана тактика морского боя. С присущей ему энергией он написал работу "Рассуждения по вопросам морской тактики", которая после ее издания была переведена и опубликована за рубежом.
К 1896г. напряженная военно-политическая обстановка на Дальнем Востоке разрядилась. Соединенные эскадры были расформированы, создана была одна эскадра Тихого океана, и Макаров возвратился в Кронштадт, где был назначен старшим флагманом 1-й флотской дивизии.
К этому периоду относится осуществление Макаровым идеи постройки мощного ледокола "Ермак". До этого ни в России, ни в других странах мощных ледоколов не было. Макаров разработал проект ледокола и, добившись его постройки, создал самый мощный в мире ледокол, обеспечив и в этой области приоритет русской научной мысли. Но осуществить это Макарову было не так просто.
Идея покорения полярных льдов мощным ледоколом с целью достижения Северного полюса, освобождения берега и устья рек Сибири от вечных льдов, с целью дать доступ к рекам дешевым и коротким путем, зародилась у Макарова еще в 1892г. в период организации Нансеном своей экспедиции на Северный полюс. Макаров не был согласен с планом Нансена и стремился найти решение задачи иным путем, но, загруженный другими делами, заняться этим вопросом вплотную смог лишь в 1897г.
Макаров предполагал достигнуть Северного полюса на мощном ледоколе, в то время как все иностранные исследователи пытались решить эту задачу, используя естественный дрейф льдов и течения в Арктике. Из всех идей, предлагавшихся Макаровым, идея постройки ледокола вызвала, пожалуй, наибольшее противодействие самых различных . руководящих кругов царской России как военных, так и финансовых, а частью и научных, и лишь настойчивость и убедительные доводы Макарова заставили правительственные круги обратить внимание на это предложение. Его поддержал известный русский ученый Менделеев, после чего был составлен специальный доклад министру финансов. Но прежде чем дать согласие на строительство ледокола, решено было поручить Макарову провести личную рекогносцировку Карского и других полярных морей, и лишь после его поездки, убедившись в экономической целесообразности постройки ледокола, правительство утвердило проект Макарова, и в начале декабря 1897г. с судостроительным заводом был заключен договор о постройке ледокола. Макаров лично наблюдал за постройкой корабля и внес ряд ценнейших предложений и усовершенствований в конструкцию ледокола, что еще раз свидетельствовало о его глубоких знаниях в области кораблестроения.
Весною 1899г. ледокол пришел в Кронштадт, свободно форсировав все тяжелые весенние льды Финского залива. С апреля началось приготовление ледокола к арктическим плаваниям.
При первом выходе в Арктику, состоявшемся 29мая 1899г., ледокол дал небольшую течь в корпусе, что потребовало производства подкреплений корпуса. При втором выходе 14июля, ледокол при форсировании льдов получил небольшую пробоину и вынужден был зайти в Англию на ремонт. Этих двух неудач, неизбежных во всяком новом деле, было достаточно, чтобы недоброжелатели Макарова вновь подняли голос, доказывая неосуществимость его идей. Была организована правительственная комиссия для изучения всех причин аварий ледокола и выяснения его пригодности к плаванию в Арктике. Макаров в состав комиссии включен не был.
Комиссия, состоявшая из противников идеи Макарова, пришла к выводу, что ледокол к плаванию в полярных льдах не пригоден и может . быть использован только для обеспечения торгового мореплавания в Финском заливе. Не согласившись с выводами комиссии, Макаров продолжал добиваться посылки ледокола в Арктику, на этот раз к Новой Земле с тем, чтобы обойти ее с севера и придти к устью Енисея. Ему вновь было разрешено возглавить эту экспедицию, и в начале мая 1901г. "Ермак" вышел из Кронштадта, но обойти Новую Землю с севера из-за тяжелых льдов ему не удалось. Собрав богатый научный материал, Макаров в сентябре того же года вернулся в Кронштадт.
Эта последняя неудача послужила окончательным поводом для решения в правительственных кругах оставить "Ермак" в Балтийском море для проводки судов, а Макарова освободить от дальнейших обязанностей по опытным плаваниям во льдах. Ледокол был передан отделу торгового мореплавания. На этом и прекратились всякие попытки освоить Северный морской путь. Один из современников Макарова, разделяя его взгляды, написал пророческие слова: "Сдается мне, что когда, в близком будущем, обновленная Россия развернет во всей своей мощи неисчерпаемые силы ее народа, использует непочатые сокровища ее природных богатств, то смелая мысль русского богатыря Макарова будет осуществлена. Будут сооружены ледоколы, способные проходить среди льдов Ледовитого моря так же свободно, как проходит "Ермак" по льдам Финского залива, которые до него были также непроходимы. Омывающий наши берега Ледовитый океан будет исследован вдоль и поперек русскими моряками, на русских ледоколах, на пользу науки и на славу России".