还在武德二年（619年），太子詹事李纲就规劝过李建成“不宜听受邪言，妄生猜忌”。《中国通史》认为“这可能是他们之间矛盾的开始”。到李世民削平关东以后，二人的矛盾就更深了。河北刘黑闼再度起兵时，太子中允王珪、洗马魏徵就提醒李建成说：“秦王勋业克隆，威震四海，人心所向，殿下何以自安？”因而建议他去讨伐刘黑闼，以图“立功”，并趁势“因结山东英俊”。李建成为树立自己的威望，实践了这一建议。为了加强军事势力，他私下招募骁勇二千余人，屯守东官左右长林门，号称“长林兵”。
李渊即位后多内宠，“小王且二十人”，他们的母亲争相结交李建成、李世民、李元吉等人，以求自保。而李建成、李元吉也极力拉拢后官妃嫔，史称其“曲意事诸妃嫔，谄谀赂遗，无所不至，以求媚于上”，使之吹捧自己，短毁李世民。也有记载认为二人与李渊的宠妃张婕妤和尹德妃私通，但宋人司马光指出此事“宫禁深秘，莫能明也”。
与此同时，在李世民的周围，早就团聚一批才能出众的文官武将，还有蓄养在外的勇士八百余人。宰相封德彝就曾指出：“秦王恃功，颉颃太子下。”李世民虽因赏赐李神通田庄事得罪过张婕妤，但也“遍见诸妃”，“有以赂遗”。他的妻子长孙氏（参见词条文德皇后）也在高祖和妃嫔之间“尽力弥缝”，以争取后宫的支持，但收效不大。
武德六年（623年）以后，李世民深感“不为兄弟所容，实有功高不赏之惧”，兄弟间的矛盾更加尖锐了。武德七年（624年）六月，李渊前往仁智官（今陕西宜君西南）避暑，居守的李建成派人送铠甲到庆州，两人来到豳州的时候，告发庆州都督杨文干叛乱。同时，宁州人杜风举也到仁智宫进行告发（一说李建成私下吩咐杨文干“募健儿送京师”，“欲以为变”）。李渊大怒，召李建成至仁智宫究问，又令司农卿宇文颖到庆州传召杨文干。结果宇文颖到庆州后，反而帮助杨文干发动叛乱。李渊闻讯后，担心此事牵连太子，可能有众多响应者，于是派李世民前往讨伐杨文干，并许诺事成后立他为太子，废李建成为蜀王。但等到李世民平乱后，李渊却在李元吉与诸妃的请求及封德彝的游说下改变主意，仍令建成回京居守，“惟责以兄弟不睦”，归罪于东宫和秦王府的幕僚王珪、韦挺和杜淹，加以流放而已。
武德九年（626年），李建成夜召李世民饮酒，李世民心痛吐血。李渊无可奈何，因此对李世民说：“看你们兄弟，终究是不和，一同待在京邑，一定产生忿争。”他建议李世民回到陕东道大行台所在的洛阳，“自陕以东，悉宜主之”，并可以建天子旌旗，效仿西汉梁孝王刘武的故事。李建成、李元吉认为放走李世民，于己不利，暗中阻挠，一面派人上书谏止，一面派人对李渊陈说利害，使他放弃此议。这时李建成加紧活动，翦除李世民的羽翼，或进行收买，形势显得非常紧迫。因此秦王府幕僚“日夜劝世民诛建成、元吉”，李世民犹豫未决。恰在此时突厥入寇，李建成举荐李元吉督诸军北征，并带走了秦王府的主要将领与精锐士卒。在东宫担任率更丞的王晊又向李世民告密，说李建成将乘为李元吉饯行时暗害李世民。在这千钧一发之际，李世民与幕僚房玄龄等密商发动政变。他向李渊密奏李建成、李元吉“淫乱”后宫，并说：“臣于兄弟无丝毫所负，今欲杀臣，似为（王）世充、（窦）建德报仇。臣今枉死，永违君亲，魂归地下，实亦耻见诸贼！”李渊听后大惊，告诉他说：“明日当勘问，汝宜早参。”
晚年及崩逝
李渊做太上皇以后，仍居于太极宫，但已不再预闻国事。
贞观三年（629年）四月，李渊从太极宫迁出，搬到了大安宫（一作太安宫）。在大安宫生活期间，李渊除了参加李世民举行的一些宴会外，几乎不曾离开过大安宫。李世民经常到九成宫（位于今陕西麟游）避暑，李渊也不愿意出行。贞观八年（634年）三月，李渊在太极宫两仪殿宴请西突厥使者。十月，李世民决定在宫城的东北方向营建永安宫，作为太上皇的“清暑之所”（第二年正月改名大明宫，数月后李渊病死，大明宫停止建设，直到高宗之世才渐成规模）。同年十二月，李渊与李世民共同出席在长安城西举行的检阅军队活动，亲自慰劳将士而还。随后在未央宫设宴，召集文武群臣庆祝。
自贞观八年（634年）入秋以来，李渊感染风疾，到贞观九年五月六日（635年6月25日）已然病危。他在遗言中说：“已殡葬后，皇帝应在别处临朝掌管军国大事。丧服的轻重，完全按照汉朝的制度，日夜守丧。园陵的修建，务必节俭。”同日，李渊在大安宫的垂拱前殿驾崩，享年七十岁。庙号高祖，谥号太武皇帝。同年十月，安葬于献陵（今陕西三原），太穆皇后窦氏祔葬。
唐高宗上元元年（674年）八月，改谥李渊为神尧皇帝。唐玄宗天宝十三载（754年）二月，定谥为神尧大圣大光孝皇帝。
为政举措
政治
任用宰相
李渊在位时期，共任用了十二位宰相，除李世民、李元吉外，裴寂、萧瑀、窦威、窦抗、杨恭仁、宇文士及、刘文静等七人出身关陇贵族集团。除刘文静外，余人都出身显贵家庭。而窦威、窦抗、萧瑀和宇文士及都是隋唐皇亲，封伦（封德彝）是山东士族，陈叔达是江南贵族，裴矩是齐隋旧臣。[124]
在这些宰相中，关陇贵族占据多数，说明关陇贵族在唐初政权中仍处于核心地位。但他们之中，长期担任宰相、执掌政务的是裴寂、萧瑀、封伦和陈叔达。这说明在实际政务的处理上，山东士族和江南贵族还起着重要作用。这是因为关陇贵族集团本身成员即不多，加以尚武的风气，能够经世治国的人更少，因此必然要吸收其他人员来参加统治。由于李渊和唐初统治核心的门阀观念，吸收同样具有贵族门阀身份的江南贵族和山东士族就成为很自然的选择。而刚刚建起来的王朝，需要建立一整套典章制度，还需要迅速安定山东和江南。因此，在隋朝就参加过中央政府工作的山东士族封伦、江南贵族陈叔达以及具有江南贵族和关陇贵族双重身份的萧瑀就成为合适的人选。