1935年4月在被迫放弃陕甘宁革命根据地后，红军开始长征，同年10月张国焘另立"中央"。在当时"临时中央"的名单上朱德、刘伯承也都在其中，并逼迫二人公开在报刊上发表反对毛主席和北上的言论。朱、刘不肯照做，两人拒不合作的态度激怒了张国焘及紧随他的陈昌浩等人。"老不死"、"冥顽不灵"便是当时陈昌浩对朱德的蔑称，张国焘更是几次三番当面威胁刘伯承："若不是念在当年你是南昌起义的参谋，早已枪毙了你了"。
张国焘
这之后，朱、刘二人便被严加看管起来，形同软禁一般，对两人对外接触也控制的极为严苛，并派人带走两人的马匹，对两人严防死守。朱、刘如同身陷囹圄，度日如年。后来刘伯承坦言："张国焘待我们与俘虏无异"，成日来的严加看管，造成刘伯承倍感不适，精神恍惚，也是因为如此使得他患了青光眼，仅存的左眼视力也消退许多。
一次刘伯承意外得知外界消息，并对朱德道："情况不妙，看样子，外面要准备逮人了，也不知道他（指张国焘）想好了没。"朱德哭笑不得："人家有这个能力，不好说啊！"刘伯承突然严肃地道"你还剩几把枪？""一支小型，还有两把博克。你呢？""五支。"言罢，两人相视而笑，昔年战友不需要明言，对方的心思便能猜的差不多了。
历史上还真有张国焘下属提枪准备宰掉刘伯承，但被张国焘挡下了。倒不是因为他良心发现，生了惜才之心，在他看来朱、刘两人活着的价值更高，正是因为两人都很熟悉四川的情况，川军中不乏诸多老部下，善用他二人，便能减少许多部队南下时遇到的不便。
然而死罪可免，活着却仍要遭受诸多折磨，不久，在张国焘授意下，刘伯承总参谋长一职被罢免，改任红四方面军大学校长。这也是刘伯承生平第二次被撤职，加上南昌起义失败后失去职务之事，算来共有三次。刘伯承不仅十分坦然面对，还乐呵呵的做了总结："三参总戎幕，一败两罢官。"
刘伯承
彼时刚刚赴任大学校长之际，刘伯承就碰到了第一个"钉子"——余天云，作为红四方面军中最年轻的军长，也是张国焘的红人，年少得志的他作风彪悍，身上有着浓浓的土匪头子的气息。
红1与4方面军会师后，时任四方面军团长的周道源见朱德骑的马瘦小又是风范，便主动将自己的红毛大骡子送给了朱德。被余天云得知后，他在干部会议当众对周道源大加斥责，周道源过后还因此挨了顿揍。曾经在阿坝开会时批判朱、刘二人时，余天云做势要动手打人，在徐向前加以阻拦时才息了心。
余天云虽然对张国焘唯命是从，但南下行军之际遇到许多硬坎，难免发泄几句不平。未曾料想此举传到张国焘耳中，便借机以行军途中置士兵性命于不顾，派人打周时源之事搬出来，裁撤掉他的军职，并下放到红军大学重新改造。仕途不顺又不敢再埋怨张国焘，就拿教员开涮，对于特别是来自红一方面军的教员挑三拣四，屡屡生事。
余天云
一次郭天民上课，余天云便问道："教官，今天讲什么？"郭天民答："防空。"余天云从鼻子里哼了一声："哪里还用你教？飞机谁又不认识。我们四军可不像你们一军那么懦弱!"把郭天民气得扬长而去。
彭绍辉原为红三方面军团指挥员，两军会合时被派往常驻红四方面军任军参谋长，不久后也被张国焘下放到此处。余天云便在课上对他出言嘲讽："一个被撤职的参谋，有什么资格当讲师？老子什么都不会，也照样打胜仗！"
彭绍辉知道余天云是想有意为难，对他的话充耳不闻。不料余天云蹬鼻子上脸，居然派警卫扰乱课堂秩序。时任校长的刘伯承闻讯赶来并加以制止，余天云却也不卖他半分颜面。动怒之余，命人缴了余天云和警卫员的武器。
彭绍辉
刘伯承在中央苏区就曾主持红校，对课堂秩序和教员的最严最为看重。为了扼杀这股邪气，专门书写文章加以批判，这些既没文化又缺少政治头脑，到处生事的学员进行了严厉批评。余天云自恃作为张国焘的红人，而刘伯承只是下放的"政治不可靠者"，不仅毫不收敛，公然持枪对着刘伯承，并对其大肆谩骂。
被激怒的刘伯承方言："不处分此人，便不再开课！"由于余天云的做法已招致众怒，且使得红校无法正常运转，张国焘不得不亲自处理此事，勒令余天云当众道歉，同时缴械，此后又把他关禁闭反省。余天云认为自己里子面子都没了，觉得无颜见人，一怒之下在部队行军时投河自杀。不过此后红校的学习空气也逐渐浓厚，正气终将压倒所有不正之风。