Узнав об участи войска Фламиния, Гней Сервилий направил свою армию к Риму, чтобы прикрыть беззащитную столицу. В самом Риме сенат, считая положение чрезвычайно опасным, назначил диктатора, которым стал Квинт Фабий Максим. Срочно собрав 2 легиона, он двинулся навстречу Сервилию, чтобы принять командование над объединенной армией. Однако Фабий уклонялся от генерального сражения с Ганнибалом, поскольку решил изматывать противника небольшими стычками и внезапными нападениями маленьких отрядов. Ни один из италийских городов не перешел на сторону пунийцев, сохраняя верность Риму. Тогда Ганнибал решил двигаться на юг, в Кампанию.
Фабий последовал за карфагенянами, но тут из Рима диктатору поступил приказ немедленно вернуться в столицу, а командование армией передать стороннику решительных действий Марку Минуцию Руфу. Руф, совершив мелкую вылазку, перебил пунийских сборщиков хлеба, но доложил в Рим о великой победе над Ганнибалом, после чего благодаря такому обману был назначен вторым диктатором с такими же правами, как и у Фабия. Однако последний, в конце концов, смог подчинить Руфа своему влиянию. Вскоре срок диктатуры истек, и в середине 217 года до н. э. Фабий передал свои полномочия консулам, которые придерживались его тактики выжидания и изматывания. Но в следующем 216 году до н. э. консулами были избраны сторонники решительных действий: Эмилий Павл и Гай Теренций Варрон.
В отличие от Италии, в Испании римляне действовали весьма успешно, тесня войска Гасдрубала. Более того, флот под командованием Гнея Сервилия совершил экспедицию к африканским берегам, разоряя владения пунийцев в непосредственной близости от Карфагена. В результате этого Ганнибал не мог получить подкрепления, а вынужденное бездействие сводило на нет все плоды его предыдущих побед. Однако со сменой консулов он смог наконец-то изменить положение дел в свою пользу. Ганнибал навязал римлянам сражение, которое произошло у города Канны 2 августа 216 года до н. э. В ходе искусного маневра римские легионы были окружены и почти полностью уничтожены. Консул Эмилий Плавт был убит, разделив судьбы Гнея Сервилия, Минуция Руфа, 80 сенаторов и еще 70 тыс. римских солдат, павших в этом сражении. Варрон с 50 всадниками бежал в город Венусия.
Рим потерял свою армию, и путь на столицу был открыт. Но, вместо того, чтобы идти на Рим, Ганнибал стоял на месте, колеблясь и теряя драгоценное время. Он остановился у Канн, ожидая из Рима послов с предложением мира. Но в Риме не собирались сдаваться на милость победителя. Воспользовавшись передышкой, сенат срочно сформировал 4 новых легиона из граждан всех возрастов, включая подростков, рабов и осужденных преступников, а Варрон, закрепившись в Венусии, создал ополчение из местных жителей и беглецов на поле боя под Каннами.
Безуспешно прождав послов из Рима, Ганнибал двинул свои войска к Неаполю, но не смог взять город и направился к Капуе, где жители, впечатленные поражением римлян при Каннах, открыли ему ворота. В конце 216 года до н. э. Марк Клавдий Марцел смог разбить Ганнибала у стен кампанского города Нолы, но Канны по-прежнему оставались символом поражения Рима. Сиракузы перешли на сторону Карфагена. Македонский царь Филипп V, желая отвоевать у римлян Иллирию, заключил союз с Ганнибалом.
После этого война в Италии затянулась на много лет. Ганнибал медленно продвигался к южной оконечности полуострова, а римляне следовали за ним по пятам, время от времени вступая в схватки с противником.
На Пиренейском полуострове братья Публий и Гней Корнелии Сципионы силами двух армий удар за ударом громили пунийцев. Они нанесли Карфагену ряд серьезных поражений и восстановили разрушенный Ганнибалом город
Сагунт. В следующем 213 году до н. э. Сципионы высадились в Северной Африке и подбили одно из нумидииских племен на войну с Карфагеном. Положение было настолько серьезным, что Карфаген для борьбы с новым противником временно отозвал из Испании Гасдрубала Барку. В 212 году до н. э. в Испании объединенному войску Сципионов противостояли три пунийские армии: Гасдрубала, сына Гисгона, а также Магона Барки и Гасдрубала Барки, братьев Ганнибала и сыновей Гамилькара. Сципионы желали полностью изгнать пунийцев с Пиренейского полуострова, но это им не удалось. Оба брата погибли в сражении с Гасдрубалом Барком. Победа над Публием и Гнеем Корнелиями Сципионами отдала пунийцам Испанию к югу от реки Ибер. Командовать оставшимися римскими войсками солдаты избрали всадника Луция Марция. Одновременно с поражением римлян на Пиренейском полуострове в Иллирии перешел в наступление Филипп V.
После многочисленных мелких стычек в 211 году до н. э. Аппий Клавдий Пульхр осадил Капую. Ганнибал прибыл к городу, но в развернувшемся под его стенами сражении не смог разгромить римлян. Тогда Ганнибал решился на весьма смелый ход — желая оттянуть войска противника от Капуи, он направился к Риму и остановился в нескольких километрах от столицы. Жители Рима в панике бросились на защиту родного города — «Ганнибал у ворот». Но сенат при помощи мудрого Квинта Фабия разгадал замысел противника и не стал вызывать войска. Ганнибал, не имея сил штурмовать неприступный город, простоял несколько дней под его стенами и увел свою армию на юг. Ему так и не удалось снять осаду с Капуи, и город вскоре был взят римлянами. Ганнибал уходил дальше на юг Апеннинского полуострова, уводя свое 25-тысячное войско в Брутиум — «носок» итальянского сапога.
После взятия Капуи сенат решил послать в Испанию нового полководца, который смог бы полностью очистить полуостров от пунийцев. Выбор пал на Публия Корнелия Сципиона Младшего, сына и племянника погибших братьев Сципионов, юношу выдающихся способностей, который поклялся отомстить Карфагену за нападение на Рим и гибель самых близких ему людей. Прибыв и Испанию, Сципион Младший удивил друзей и врагов, дерзким ударом врасплох захватив Новый Карфаген — столицу и оплот пунийцев на полуострове. Вскоре почти все испанские племена перешли на сторону римлян, считая их нового полководца сыном богов. Сципион перекрыл для пунийского флота Гибралтар, восстановил союз с нумидийскими племенами в Африке и к концу 209 года до н. э. загнал карфагенян на север Испании. По приказу из Карфагена в начале следующего года Гасдрубал Барка забрал часть войска, чтобы идти в Италию на помощь своему брату Ганнибалу, оставив Магона и своего сына Гистона сдерживать неутомимого Сципиона Младшего. Гасдрубал Барка пришел в Галлию (современная Франция), где кельты с радостью вступали в его войско. Весной 207 года до н. э. он перешел через Альпы по дороге, проложенной его братом, и спустился в Италию. Однако в битве на берегу реки Метавр консул Клавдий Нерон уничтожил его армию. Гасдрубал Барка пал в сражении. Он так и не смог соединиться с войсками своего брата, лишив его последней надежды одержать победу над Римом. Весной 205 года до н. э. Магон Барка вслед за своим погибшим братом высадился в Италии недалеко от Генуи, но Ганнибал не смог соединиться с ним, поскольку в его лагере свирепствовала чума. Появление еще одной пунийской армии в Италии не произвело на Рим большого впечатления. Сципион Младший, который к этому времени полностью очистил Испанию от пунийцев, по решению сената начал готовиться к захвату африканских владений Карфагена и спустя год начал боевые действия на территории противника. В 204 году до н. э. огромные силы римлян высадились в Ливии и при поддержке союзных племен стали продвигаться к Карфагену. Ганнибал и Магон получили приказ немедленно вернуться на родину, чтобы защитить столицу. Но Магон, раненный во время одной из стычек в Италии, умер на корабле по дороге домой. Тем временем Сципион уже уничтожил две карфагенские армии. 19 октября 202 года до н. э. у города Зама в двух днях пути от Карфагена состоялось последнее в этой войне сражение. Сципион Младший уничтожил армию Ганнибала, потеряв только 1500 солдат. Потери пунийцев составили 20 тыс. человек, еще 10 тыс. попали в римский плен. Дорога на Карфаген была открыта. В таких условиях пунийцы запросили мира. По мирному договору Рим оставлял Карфагену только 10 боевых слонов и 10 кораблей, пунийцы обязались выплатить 10 тыс. талантов (262 т серебра). Захватив пунийский флот, римляне не стали использовать его на своей службе, а вывели бывшие корабли противника в открытое море и сожгли. Разгромив Карфаген, римляне обратили свои взоры на восток, где союзник Ганнибала Филипп V воевал в Египте с Птолемеем V Эпифаном. Рим поддерживал дружеские отношения как с эллинизированным Египтом, так и с его союзниками Пергамом и Родосом, поэтому сенат потребовал от Македонии прекратить боевые действия, а когда Филипп отказался, объявил ему в 200 году до н. э. войну. Через два года после начала 2-й Македонской войны римлянам удалось изгнать Филиппа из Эпира. Весной 197 года до н. э. римляне под командованием консула Тита Квинкция Фламинина вторглись в Фессалию и в битве при Киноекефалах разбили македонское войско. Филипп V согласился подписать мир, по которому отказывался от своих владений в Греции, Фракии и Малой Азии. В следующем 196 году до н. э. на Истмийских играх в Коринфе Фламинин официально провозгласил свободу и автономность всех греческих полисов. Завершив дело, римляне вывели свои гарнизоны из греческих крепостей и вернулись на родину.
Однако очень скоро римские легионы вернулись. Повелитель державы Селевкидов царь Антиох III Великий, расширивший свои владения до Бактрии и Индии, в 191 году до н. э. вторгся в Грецию. В битве при Фермопилах римляне под командой Марка Порция Катона Старшего нанесли Антиоху поражение и на плечах отступающего войска вторглись в Азию. Римское войско, ведомое Публием Корнелием Сципионом Младшим, переправилось через проливы и вышло к Сардам. Битва, произошедшая у небольшого города Магнезии, вновь принесла победу Риму. Антиох III обязался не вмешиваться в дела на западе и никогда больше не появляться с войском в Европе. Ионийские греческие города стали союзниками Рима, но сами римляне были пока далеки от мысли захвата Азии. Они разделили отвоеванные у Антиоха земли между греками и возвратились в Италию.