嫔妃很多，生了滕王李元婴等近二十位小皇子，他们的母亲争相交结各位年长的皇子来巩固自己的地位。李建成和李元吉都曲意侍奉各位妃嫔，奉承献媚、贿赂、馈赠，无所不用，以求得皇帝的宠爱。也有人说他们与张婕妤、尹德妃私通乱伦，宫禁幽深神秘，此事无从证实。当时，太子东宫、各王公、妃主之家以及后宫妃嫔的亲属，在长安横行霸道，为非作歹，而主管部门却不敢追究。世民住在承乾殿，元吉住在武德殿后院，他们的住处与皇帝寝宫、太子东宫之间日夜通行，不再有所限制。太子与秦、齐二王出入皇帝寝宫，均乘马、携带刀弓杂物，彼此相遇只按家人行礼。太子所下达的令，秦、齐二王所下达的教和皇帝的诏敕并行，有关部门不知该听哪个的命令，只有按照收到的先后为准。李世民不去讨好诸位妃嫔，所以嫔妃们很生气，争相称赞李建成、李元吉而诋毁李世民。李世民平定盘踞在洛阳的王世充以后，高祖让贵妃等几人到洛阳挑选隋朝宫女和收取仓库里的珍宝。贵妃等人私下向李世民索要宝物并为自己的亲戚求官，李世民回答道：“宝物都已经登记在册上报朝廷了，官位应当授予贤德有才能和有功劳的人。”没有答应她们的任何要求，因此妃嫔们更加恨他。李世民因为淮安王李神通有功，拨给他几十顷田地。张婕妤的父亲通过张婕妤向高祖请求要这些田，高祖手写敕令将这些田赐给他，李神通因为秦王的教令在先，不让田。张婕妤向高祖告状道：“陛下敕赐给我父亲的田地，被秦王夺去了给了李神通。”高祖因此发怒，责备李世民说：“难道我的手敕不如你的教令吗”过了些天，高祖对左仆射裴寂说：“这孩子长期在外掌握军队，受书生们教唆。已经不再是原来的那个儿子了。”尹德妃的父亲尹阿鼠骄横跋扈，秦王府的官员杜如晦经过他的门前。尹阿鼠的几名家僮把杜如晦拽下马，揍了他一顿并打断了他一根手指，说道：“你是什么人，胆敢过我的门前不下马”尹阿鼠怕世民告诉皇帝，先让尹德妃对皇帝说：“秦王的亲信欺侮我家人。”高祖又生气地责备李世民说：“我的妃嫔家都受你身边的人欺凌。何况是小老百姓”世民反复为自己辩解，但高祖始终不相信他。李世民每次在宫中侍奉高祖宴饮，面对诸位妃嫔，想起母亲太穆皇后死得早，没能看到高祖拥有天下，有时不免叹气流泪，高祖看到后很不高兴。各位妃嫔趁机暗中一同诋毁李世民道：“天下幸好平安无事，陛下年寿已高。只适合娱乐娱乐，而秦王总是一个人流泪，这实际上是憎恨我们，陛下作古后，我们母子必定不为秦王所容，会被杀得一个不留”18因此相互对着流泪，并且说：“皇太子仁爱孝顺，陛下将我们托付给太子。必然能获得保全。”高祖也为此很伤心。从此高祖打消了改立太子的念头，对世民逐渐疏远，而对李建成、李元吉却日益亲密了。太子中允王圭、太子洗马魏徵劝说太子道：“秦王功盖天下。内外归心；而殿下不过是因为年长才被立为太子，没有大功可以镇服天下。现在刘黑闼的兵力分散逃亡之后，剩下不足一万人，又缺乏粮食物资，如果用大军进逼，势如摧枯拉朽。殿下应当亲自去攻打以获得功劳名望，趁机结交山东的豪杰，也许就可以保住自己的地位了。”20太子于是向高祖请求带兵出征，高祖答应了。武德五年十一月初七甲申日公元622年12月14日，高祖下诏命太子李建成带兵讨伐刘黑闼，陕东道大行台及山东道行军元帅、黄河以南、以北各州均受建成处置，他有权随机行事。齐王李元吉劝说太子李建成趁早除去秦王世民，他说：“我自当替哥哥亲手将他杀掉”李世民随从高祖前往元吉的府第，元吉命令护军宇文宝埋伏在寝室里，准备刺杀世民。李建成生性颇为仁爱宽厚，连忙制止了他。李元吉恼怒地说：“我这是为哥哥着想，对我自己有什么好处”李建成擅自召募长安及各地的骁勇之士两千多人，充当东宫卫士，让他们分别在东宫左右长林门驻扎下来，号称长林兵。建成还暗中让右虞候率可达志，从燕王李艺那里调集来幽州骁勇精锐的骑兵三百人，将他们安置在东宫东面的各个坊市中，准备用他们来补充在东宫担任警卫的低级军官，结果被人告发。高祖召见建成，把他责备了一番，将可达志流放到巂州。庆州都督杨文干曾经在东宫担任警卫，建成亲近并厚待他，私下里让他募集勇士，送往长安。高祖准备前往仁智宫，命令建成留守京城，李世民与李元吉一起随行。建成让李元吉乘机图谋李世民，他说：“关系到我们安危的大计，就决定在今年了”李建成又指使郎将尔朱焕和校尉桥公山将盔甲赠给杨文干。两人来到豳州的时候，上报发生变故，告发太子指使杨文干起兵，让他与自己内外呼应。还有一位宁州人杜风举也前往仁智宫讲了这一情形。高祖大怒，借口有别的事情，以亲笔诏书传召建成，让他前往仁智宫。李建成心中害怕，不敢前去。太子舍人徐师谟劝他占据京城，发兵起事；詹事主簿赵弘智劝他免去太子的车驾章服，屏除随从人员，到高祖那里去承认罪责。624年7月14日，李建成决定前往仁智宫。还没有走完六十里的路程，李建成便将所属官员，全部留在北魏毛鸿宾遗留下来的堡栅中，带领十多个人骑马前去进见高祖，向父皇伏地叩头，承认罪责，身体猛然用力，自己摔了出去，几乎晕死过去。高祖的怒气仍然没有消除。当天夜里，高祖将他囚禁在帐篷里，给他麦饭充饥，让殿中监陈福看守着他，派遣司农卿宇文颖速去传召杨文干。宇文颖来到庆州，将情况告诉了杨文干。于是，杨文干起兵造反。高祖派遣左武卫将军钱九陇和灵州都督杨师道攻击杨文干。624年7月16日。高祖传召秦李世民商量此事。李世民说：“杨文干这小子竟敢做这种狂妄叛逆的勾当，想来他幕府的僚属应当已经将他擒获并杀掉了。如果不是这样。就应当派遣一员将领去讨伐他。”高祖说：“不能这样。杨文干的事情关连着建成，恐怕响应他的人为数众多。你最好亲自前往，回来以后，我便将你立为太子。我不愿意效法隋文帝去诛杀自己的儿子，届时就把李建成降为蜀王。蜀中兵力薄弱。如果以后他能够事奉你，你应该保全他的性命；如果他不肯事奉你，你要捉拿他也容易啊。”高祖因为仁智宫建造在山中，担心盗兵突然发难，便连夜率领担任警卫的军队从南面开出山来。走了数十里地的时候，太子东宫所属的官员相继到来，高祖让大家一概以三十人为一队，分派军队包围、看守着他们。第二天。高祖才又返回仁智宫。李世民出发以后，李元吉与嫔妃轮番替李建成求情，封德彝又在外朝设法解救建成。于是，高祖改变了初衷，又让李建成回京城留守。高祖只以他致使兄弟关系不和睦的过错而责备他，将罪责推给了太子中允王圭、左卫率韦挺和天策上将府兵曹参军杜淹，将他们一并流放到了巂州。当初，洛阳平定以后。杜淹长时间没有得到升迁，打算谋求事奉建成。房玄龄认为杜淹狡诈的招数很多，担心他会教唆引导建成。越发对世民不利，便向李世民进言，将杜淹推荐到天策上将府任职。624年7月21日，杨文干攻陷宁州，驱赶劫掠官吏与百姓出城，占据了百家堡。秦王世民的军队来到宁州以后。杨文干的党羽便全部溃散。七月初五癸酉日7月25日，杨文干被自己的部下杀死，他的头颅被传送到京城。李世民捉获了宇文颖，将他杀掉。
有人劝高祖说：“突厥之所以屡次侵犯关中地区，是由于我们的人口与财富都集中在长安的缘故。如果烧毁长安，不在这里定都，那么胡人的侵犯便会自然平息下来了。”高祖认为有道理，便派遣中书侍郎宇文士及越过终南山，来到樊州、邓州一带，巡视可以居留的地方，准备迁都到那里去。太子李建成、齐王李元吉和裴寂都赞成这一策略，萧瑀等人虽然知道不应当如此，却不敢谏阻。秦王世民挺身而出，劝谏道：“北方少数民族为祸中原的情况自古就有。陛下凭着圣明英武，创建新王朝，安定中夏，拥有百万精兵，所向无敌，怎么能因有胡人搅扰边境，便连忙迁都来躲避他们，使举国臣民感到羞辱，让后世来讥笑呢那霍去病不过是汉朝的一员将领，尚且决心消灭匈奴，何况儿臣还愧居藩王之位呢希望陛下给我几年时间，请让我把绳索套在颉利的脖子上，将他逮到宫阙之下。如果到时候不成功，再迁都也为时不晚。”37高祖说：“说得好。”李建成却说：“当年樊哙打算率领十万兵马在匈奴人中间纵横驰骋结果失败了，秦王的话该不会是和樊哙的相似吧”李世民说：“面对的情况各有区别，用兵的方法也不相同。樊哙那小子有什么值得称道的呢不超过十年，我肯定能够将漠北地区平定下来，并不是凭空妄言啊”于是，高祖不再迁都。李建成与嫔妃因而共同诬陷李世民说：“虽然突厥屡次在边疆上为祸，但只要他们得到财物就会撤退。秦王假托抵御突厥的名义，实际上是打算总揽兵权，成就他篡夺帝位的阴谋罢了”高祖在京城南面设场围猎，太子李建成、秦王李世民和齐王李元吉都随同前往，高祖命令三个儿子骑马射猎，角逐胜负。李建成有一匹胡马，膘肥体壮，但是喜欢尥蹶子，李建成将这匹胡马交给李世民说：“这匹马跑得很快，能够越过几丈宽的涧水。二弟善于骑马，骑上它试一试吧。”李世民骑着这匹胡马追逐野鹿，胡马忽然尥起后蹶，李世民跃身而起，跳到数步以外站稳，胡马站起来以后，李世民再次骑到马身上，这样的情况连续发生了三次。李世民回过头来对宇文士及说：“他打算借助这匹胡马害我，但人的生死自有命运决定。就凭他们能够伤害到我吗”建成听到此言，乘机教唆与他偷情的嫔妃在高祖耳边诬陷李世民：“秦王自称：上天授命于我。正要让我去做天下的主宰，怎么会白白死去呢”高祖大怒，先将李建成、李元吉二人召来，然后又把李世民召来，责备他道：“谁是天子。上天自然会授命于他，不是人的智力所能够谋求的。你谋求帝位之心怎么这般急切呢”李世民摘去王冠，伏地叩头，请求将自己交付执法部门查讯证实自己没有说过这种悖逆之话，高祖仍然怒气不息。适逢有人奏称突厥前来侵扰，高祖这才改变了生气的面容，转而劝勉李世民，让他戴上王冠。系好腰带，与他商议对付突厥的办法。武德七年闰七月廿一己未日公元624年9月9日，高祖颁布诏书命令李世民与李元吉率领兵马由豳州出发抵御突厥，在兰池为他们饯行。每当发生敌情，高祖总是命令李世民前去讨伐敌人，但在战事平息以后，高祖对世民的猜疑却越发加重了。
秦王李世民与太子李建成、齐王李元吉结下嫌隙以后，认为洛阳地势优越便利。担心总有一天会发生变故，打算离开京城保守此地，所以就让行台工部尚书温大雅镇守洛阳。派秦王府车骑将军张亮率领亲信王保等一千多人前往洛阳，暗中结交崤山以东的豪杰，等待事态变化，拿出大量的金银丝帛，任凭他们使用。元吉告发张亮图谋不轨，张亮被交付法官考察验证。张亮从始至终一言不发。朝廷便释放了他，让他返回洛阳。李建成在夜间召来李世民，与他饮酒，暗中在酒中下毒害他。李世民突然心痛，吐血数升，淮安王李神通搀扶着他返回西宫。高祖来到西宫，询问世民的病情，敕令李建成：“秦王向来不善于饮酒，从今以后，你不能够再与他在夜间饮酒。”高祖因而对李世民说：“首先提出反隋的谋略，消灭敌雠，平定海内，都是你的功劳。我本打算立你为太子，你却坚决推辞。而且，李建成年纪最大，被立为太子已经很长时间了，我也不忍心夺去他的太子之位啊。我看你们兄弟似乎难以相容，一起住在京城里，肯定要发生纷争，我应当派你返回行台，留居洛阳，陕州以东的广大地区都归你主宰。我还要让你设置天子的旌旗，如汉朝梁孝王故事。”李世民哭泣着，以不愿意远离父皇膝下为由表示推辞。高祖说：“天下都是一家，东都和西都两地，路程很近，只要我想念你，便可动身前往，你不用烦恼悲伤。”李世民准备出发的时候，李建成和李元吉一起商议说：“如果秦王到了洛阳，拥有了土地与军队，我们便再也不能控制他了。不如将他留在长安，这样他就只是一个匹夫而已，捉住他也就容易了。”于是，他们暗中让好几个人以密封的奏章上奏高祖，声称：“秦王身边的人们得知秦王要前往洛阳，无不欢欣雀跃。看秦王的意向，恐怕他不会再回长安了。”他们还指使高祖宠信的官员以秦王去留的得失利弊来劝说高祖，高祖便改变了主意，秦王前往洛阳的事情又半途搁置了。李建成、李元吉与后宫的嫔妃日夜不停地向高祖诬陷世民，高祖信以为真，便准备惩治李世民。陈叔达进谏说：“秦王为天下立下了巨大的功劳，是不能够废黜的。况且，他性情刚烈，倘若加以折辱贬斥，恐怕经受不住内心的忧伤愤怒，一旦染上难以预料的疾病，陛下后悔还来得及吗”于是，高祖才没有处罚李世民。元吉暗中请求杀掉秦王李世民，高祖说：“他立下了平定天下的功劳，而他犯罪的事实并不显著，用什么作为借口呢”李元吉道：“秦王刚刚平定东都洛阳的时