Сын «арапа Петра Великого», Иван Абрамович Ганнибал 9-летним мальчиком был зачислен на военную службу. Прошел обучение в Морской артиллерийской школе и Морском шляхетном кадетском корпусе.

Во время Русско-турецкой войны 1768-1774 годов в чине бригадира морской артиллерии командовал десантом на кораблях эскадры адмирала Г.А. Спиридова. В 1770 году отличился у стен приморской крепости Наварин, которая сдалась после 6-дневной бомбардировки. За организацию артиллерийской подготовки штурма И.А. Ганнибал был награжден орденом Святого Георгия 3-й степени.

В Хиосском и Чесменском морских сражениях 1770 года, И.А. Ганнибал являлся начальником артиллерии соединенной русской эскадры и находился на борту флагманского корабля «Евстафий».

В декабре 1772 года И.А. Ганнибала производят в генерал-майоры, в 1775 году награждают орденом Святой Анны 1-й степени, а в следующем году назначают генерал-цейхмейстером морской артиллерии. С 1777 года Ганнибал по Высочайшему указу становится членом Адмиралтейств-коллегии. В 1778 году Екатерина II направляет его на юг России строить город и крепость Херсон, а также первую на Черном море отечественную судостроительную верфь. В 1784 году Ганнибал оставляет службу в звании генерал-аншефа.

Скончался И.А. Ганнибал в Санкт-Петербурге в 1801 году и был похоронен на Лазаревском кладбище Александро-Невской Лавры.