Гармажап Гармаев родился пятого июня 1916 года в улусе Верхний Торей Джидинского района Бурятии, в семье простого скотовода. В ряды Красной Армии его призвали в 1937 году, где он начинал службу рядовым 41–го кавалерийского полка, который дислоцировался под Ленинградом. В 1939 году, будучи исполняющим обязанности командира взвода, он отправился вместе со своим отделением на освобождение Западной Белоруссии.

В ноябре 1939 года началась советско–финская война. Особенно тяжёлые бои развернулись суровой зимой 1940 года в районе известной оборонительной линии Маннергейма. Тогда была сформирована разведгруппа из 40 советских бойцов, состоявшая из снайперов и стрелков, в неё был включен и Гармаев. 

— Гармажап Аюрович неоднократно заходил в тыл врага, собирал сведения о местонахождении вражеских войск и дислокации орудия, которые передавал нашим войскам, — рассказал депутат Владимир Корытов.

Во время выполнения боевого задания первый отряд разведчиков был обнаружен. Поэтому второму отряду пришлось вызывать огонь на себя. В результате мощного миномётно–артиллерийского огня финнов в живых остались только двое — Гармажап Гармаев и тяжело раненый лейтенант Василий Орешкин, которого воин из Бурятии сумел под покровом ночи вынести с поля боя. За мужество и героизм Гармажап Гармаев первым из Бурятии был удостоен звания Героя Советского Союза. Ему тогда было всего 24 года.

После демобилизации Гармажап Гармаев вернулся на родину и поступил в сельскохозяйственный техникум. Однако проучился он всего один год — началась Великая Отечественная война. Гармажап Аюрович пришёл в районный военкомат, чтобы его отправили на фронт, в заявлении он указал: «… Я участник боёв с белофиннами. Прошу отправить меня на фронт». В июне 1942 году его направили охранять восточные рубежи Советского Союза, затем в апреле 1944 года перенаправили на службу в Белорусском пограничном округе.

В последний год своей жизни Гармажап Аюрович Гармаев проходил службу на границе у Бреста. Летом 1945 года в боях с националистами его тяжело ранили. 16 июля от полученных ран он скончался в госпитале в возрасте 29 лет. Похоронен на Гарнизонном кладбище в городе Брест.

В 1985 году, к 40-летию Победы в Великой Отечественной войне, в Улан–Удэ переименовали улицу Киевская в микрорайоне Мясокомбинат в честь Героя Советского Союза Гармажапа Гармаева, у дома № 13 установлен бюст–памятник. Ещё один стоит в селе Петропавловка Джидинского района, а ещё один — в Бресте на мемориале «Героям–стражам границ», возведённом еще в 1972 году. Гранитная стела с бронзовым горельефом Гармажапа Гармаева была возведена на добровольные пожертвования белорусов и народа Бурятии.