Der Herbe Zwergknäueling bildet meist 1 bis 4 cm, seltener bis 6 cm große Fruchtkörper. Die Hüte sind zunächst muschel- bis kreisförmig, später flach ausgebreitet. Ihre Färbung reicht von ockergelblich bis zimtbraun und dunkelt im Alter etwas nach. Die Oberfläche ist kleiig. Der Hutrand ist wellig gekerbt, fein gerieft und zur Stielansatzseite hin leicht eingeschnitten. Der Stiel steht seitlich, ist zur Anwuchsstelle hin zugespitzt und farblich dem Hut ähnlich rotbräunlich bis ockergelblich und ebenfalls kleiig. Die Lamellen sind zimt- bis fleischockerfarben, relativ gedrängt stehend und am Lamellengrund durch zahlreiche Queradern verbunden. Der Geruch ist unauffällig bis neutral. Der Geschmack entwickelt nach längerem Kauen eine deutlich pfefferartig-scharfe Note.