关于柔然人的来源，由于史籍记载歧异、简略，有东胡、鲜卑、匈奴、塞外杂胡诸说。如《魏书·蠕蠕传》提及蠕蠕为“东胡之苗裔”、“匈奴之裔”、“先世源由，出于大魏”；《宋书·索虏传》、《梁书·芮芮传》均认为柔然是“匈奴别种”。而《南齐书·芮芮虏传》则以为是“塞外杂胡”。此外，欧洲历史著作中有称柔然为“阿哇尔人”，其实为公元八世纪中叶由亚洲迁到欧洲的柔然人，并在今巴伐利亚东部建立阿瓦尔汗国。阿瓦尔汗国终在与法兰克国王查理进行8年战争后覆灭。