坎尼的惨败让罗马人痛不欲生，但在短暂的绝望之后，他们又振作了起来。元老院紧急下令征召所有17岁以上公民和8000名青壮奴隶。已经兵临城下的汉尼拔见状，转战南意大利。这给了罗马喘息之机。罗马启用西庇阿兄弟为将，分兵牵制住汉尼拔，又再次推选费边任独裁官。纵然汉尼拔曾取得过不可思议的胜利，面对这种局面也是无可奈何。罗马人迎来了转机。来自西班牙的迦太基援军被消灭。西庇阿渡海进攻迦太基本土。汉尼拔在外远征，早就引起了国内的嫉恨和非议，此时政敌再次施压，要求他回国。汉尼拔回国后，两军在迦太基城郊的扎马平原再次相遇了。这次汉尼拔回天乏术，他只能统领临时拼凑的部队。他们很快土崩瓦解，这是汉尼拔第一次也是唯一一次失败。迦太基被迫签订了城下之盟，接受了极为屈辱的条件，第二次布匿战争结束。公元前196年，汉尼拔当选迦太基的执政官，推行改革，准备再与罗马一战。但罗马迫使汉尼拔离国出走。汉尼拔试图游说各国结成反罗马同盟，但他又数次流亡。公元前183年的一天，汉尼拔发现住宅被包围了，他知道自己要被引渡给罗马人，便服毒自杀。据说在扎马战役后不久汉尼拔和西庇阿曾有一次会面，西庇阿问古今名将的排名。汉尼拔把前两名给了亚历山大和皮洛士，问到第三名时，汉尼拔提到了自己。西庇阿讥笑说，如果汉尼拔不曾在扎马战败，会怎样排名。汉尼拔回答，将把自己评为第一。不管这个故事是否真实，汉尼拔应属最杰出的古代将领之一。他被后人誉为“战略之父”，直到今日，军事教学中依然会使用他的战例。

汉尼拔虽死，但依旧是罗马的噩梦。罗马人为了永绝后患，在50年后发动了第三次布匿战争。这次迦太基城被夷为平地，居民被卖为奴隶，迦太基变成了罗马的阿非利加行省。