小黑河地区位于呼和浩特市城南二十里处，因为在此附近有一条小黑河而得名。小黑河是昭君墓旁的大河，在呼和浩特东南部还有一条河，其名字叫做大黑河。

大小黑河，早在南北朝时，我国著名地理学家郦道元所著的《水经注》中即有记载。一条被称作芒干水，一条叫做武泉水。我国隋唐之际的地舆志书上，又曾将芒干水即大黑河称为“蒙水”。到了辽代，才正式将蒙水将为黑水。以后历代沿用下来，元时是黑水、黑河并称。明时分“黑河二”，但并未明确大小黑河之称。