Tungt bevæpnede krigere fra islamistgruppa gikk til angrep på militærbasen, 150 kilometer sør for hovedstaden Mogadishu i morgentimene søndag.
To selvmordsbombere i bil sprengte seg utenfor inngangen til den tungt bevoktede basen i Nedre Shabelle-regionen, opplyser den somaliske obersten Ahmed Hassan.
Nesten 100 krigere gikk så til angrep med maskingevær og bombekastere.
– Angrepet ble drevet tilbake, men flere soldater ble drept i bombeeksplosjonen, sier Hassan.
Talsmann Richard Karemire i den ugandiske hæren sier fire soldater fra Uganda ble drept og seks lettere såret. 22 opprørere ble drept og resten ble drevet tilbake, ifølge Karemire.
Al-Shabaab tok på seg ansvaret for angrepet og hevder 59 AU-soldater ble drept, sammen med 14 av deres egne krigere.
Lokale innbyggere forteller om eksplosjoner og vedvarende skuddvekslinger, og livredde sivile flyktet inn i bushen da kampene brøt ut.
Al-Shabaab har sverget troskap til al-Qaida og kjemper for en islamsk stat i Somalia. Opprørsgruppa angriper AU-styrken og regjeringsbygninger, og de har også gjennomført en rekke terroraksjoner mot sivile mål som hoteller og restauranter.
I oktober i fjor ble over 500 mennesker drept da en selvmordsbomber fra al-Shabaab sprengte en bilbombe i hovedstaden Mogadishu.
NTB-AFP-AP