Diplomájának megszerzése után az MTA Történettudományi Intézetének munkatársaként kezdte pályáját, majd az 1970-es évek közepétől az ELTE Új- és Legújabbkori Magyar Történeti Tanszékén Szabad György közvetlen munkatársaként történészek és középiskolai történelemtanárok generációit tanította hosszú évtizedeken át.

Gergely András az 1980-as évek elején a korszak ellenzéki gondolkodóinak köréhez csatlakozott, és a Mozgó Világ egyik szerkesztőjeként vált ismertté a neve. A szerveződő Magyar Demokrata Fórum mellett kötelezte el magát, és a Hitel című folyóirat szerkesztőjeként, illetve a folyóiratban rendszeresen publikáló szerzőként is hozzájárult a rendszerváltás előkészítéséhez.

Az első szabad országgyűlési választások után előbb a Külügyminisztérium főtitkáraként, majd pedig a Dél-Afrikai Köztársaságban akkreditált nagykövetként folytatta munkáját. A második polgári, nemzeti kormány megalakulása után ismét a Külügyminisztérium munkatársa lett, és a Holland Királyságban teljesített nagyköveti szolgálatot. Ezt követően az ELTE, az Andrássy Egyetem, majd pedig a KRE egyetemi tanáraként tevékenykedett.

Jóllehet 19. századi eszmetörténeti kérdésekkel is foglalkozott, kutatásai elsősorban a reformkor politikai, gazdasági és társadalomtörténeti problémáira irányultak. A korszak történelemformáló személyiségei, tevékenységük fejlődésrajza szintén foglalkoztatta, ennek köszönhetően gróf Széchenyi Istvánról írt tanulmányai, monográfiái a magyarországi historiográfia meghatározó és szemléletformáló darabjaivá váltak.

Gergely András derűs és pozitív személyiségét a súlyos betegségek és családi tragédiák próbatételei sem törték meg. Egyháza és nemzete iránt minden időben elkötelezett maradt. Oktatói és tudományos tevékenysége révén őszinte megbecsülésnek örvendett a KRE hallgatói és a közvetlen munkatársak körében.