李家的先世据说是陇西成纪(今甘肃秦安县东)人，自十六国以来将近二百年，一直是关陇贵族。

李世民的八世祖李鼍，在西晋末据敦煌、酒泉为王，建西凉国，自称凉公，也就是凉武昭王，据说李属是西汉名将李广的儿子李敢之后。李广曾祖李仲翔，为汉初将军，曾讨伐叛羌，在素昌阵亡，素昌即唐代的狄道。李仲翔的儿子李伯考葬父于狄道东川，从此定居该地，后来成为西州右姓大族，所谓陇西李氏。至李晶的儿子李歆时，西凉为匈奴贵族沮渠蒙逊所建的北凉所灭。

李歆之子李重耳逃奔南朝的宋国，后来归附北朝的后魏，任弘农太守，不久被宋将薛安都所攻陷，又改任后魏豫州刺史。李重耳的儿子李熙，任金门镇将，定居武川，后又迁至南赵郡，从此李氏世居昭庆县。赵州原隶属于巨鹿郡，与山东大姓李氏居地之旧常山郡邻接，李熙的儿子李天赐，为后魏幢主。李天赐有三个儿子，第三子李虎任后魏左仆射，封为赵郡公。

那时，后魏政权动荡，统治集团内部分裂，后魏孝武帝受贵族官僚高欢胁迫，逃往关中。不久，大将宇文泰谋杀孝武帝，改立元宝炬为帝，称西魏。李虎握有一部分军队，积极参与了这场以宇文泰为首的政变活动。西魏开国，李虎与宇文泰及太保李弼、大司马独孤信等人以佐命之功，皆封爵为柱国，号称“八大柱国”。李虎官拜太尉，还特蒙西魏皇帝的宠幸，赐鲜卑姓大野氏，李氏家族的声望权势至此达到了高峰，所谓“当时荣盛，莫与为此”。李虎先是迁家冯翊郡同州治所，宅居城西北，建有宗庙，宇文泰常去同州探视，与李虎交谊很深。后来，李氏一家又定居京兆府的三原县(今属陕西)。

到宇文泰的儿子宇文觉篡魏建立周(北周)政权时，李虎已死，但由于他佐魏有功，被追封为唐国公。唐，即取三代唐尧之意。因旧常山郡(即后来的赵郡)所属的唐县有座尧山，李氏先封赵郡公，现又封唐国公，也就进一步明确地把李家的先世托附到三代唐尧了。李虎的儿子李晒即是李世民的祖父，北周时袭爵为唐国公，任安州总管、柱国大将军，全家迁居长安。北周天和元年(566)李渊出生，七岁时父亲李晒逝世，承袭唐国公。