Иван Абрамович Ганнибал родился 5 июня 1737 года (по другим сведениям, в 1736 или 1735 году) и был старшим сыном «Арапа Петра Великого» и двоюродным дедом великого поэта А. С. Пушкина. Ещё малолетним ребёнком против воли родителей он был зачислен на военную службу. Окончив Морскую артиллерийскую школу и Морской шляхетский корпус, был выпущен во флот.
Иван Абрамович участвовал во многих морских походах, где проявил мужество и отвагу. Во время русско-турецкой войны, в 1768-1774 годах, находясь в первой Архипелагской экспедиции, в чине бригадира морской артиллерии он принимал участие в покорении Наварина.
Во время битвы в Хиосском и Чесменском сражениях, проходивших 24-26 июня 1770 года, Ганнибал командовал всей морской артиллерией. За доблесть в бою был награждён орденом Св. Георгия 3-й степени.
В 1772 году был назначен генерал-майором, ещё через четыре года – генерал-цехмейстером морской артиллерии. В 1777 году Иван Абрамович становится членом Адмиралтейств-коллегии. В качестве главного командира Херсонской крепости руководит возведением целого города. А в 1779 году ему присваивают звание генерал-поручика с сохранением должности генерал-цехмейстера.
За верную службу был награждён орденами Св. Анны, Владимира 1-ой степени и орденом Александра Невского.
В феврале 1784 года Ганнибал был удостоен чина генерал-аншефа, но по причине болезни и отчасти ссоры с самим Г.А. Потёмкиным ушёл в отставку. Остаток жизни провёл в одиночестве.
Скончался Иван Абрамович Ганнибал 12 октября 1801 года и был похоронен на Лазаревском кладбище Александро-Невской Лавры.