Mravenečník velký je mohutné zvíře dorůstající 1,8 až 2 m na délku. Hmotnost se obecně pohybuje mezi 29 až 65 kg a ocas obvykle měří 64 až 90 cm.

Tento druh mravenečníka má velmi husté a drsné chlupy, které jsou nejdelší na ocase, kde dosahují až 40 cm. Nedospělí jedinci mají chlupy měkčí než dospělci a spolu s dospíváním jim tuhnou. Většinou bývají zbarveni šedě nebo hnědě, charakteristickým znakem je černá protáhlá skvrna, bílý ramenní pruh, masivní končetiny s třemi ostrými drápy, trubkovitý čenich a malý obličej s drobnýma očima a ušima.

Mravenečník velký má až 60 cm dlouhý a 12,5 mm široký jazyk, kterým velice rychle kmitá a za jednu minutu jej může zastrčit až 150×. Při lovu potravy jazyk pokrývá lepkavá slina, která zachycuje drobný hmyz. Stejně jako ostatní mravenečníci nemá ani mravenečník velký žádné zuby. Ty nahrazují výrůstky v ústech a ve svalnatém žaludku.