В январе 1924 года Сталин сдержал Зиновьева, требовавшего арестовать Троцкого за предполагаемую подготовку «бонопартистского» военного переворота, в июле и в декабре Зиновьев требует исключить Троцкого из партии. В декабре 1925 Сталин защищает от атак Зиновьева уже Бухарина. В 1926—1927 годах Бухарин, Рыков и Томский вполне определённо «забегают вперёд» Сталина, требуя репрессий. Так, Бухарин в ноябре 1926 года заявляет, что
Тов. Зиновьев говорил… как хорошо Ильич поступил с оппозицией, не выключая всех тогда, когда он имел только два голоса из всех на профессиональном собрании. Ильич дело понимал: ну-ка, исключи всех, когда имеешь два голоса (Смех). А вот тогда, когда имеешь всех, и против себя имеешь два голоса, а эти два голоса кричат о термидоре, — тогда можно и подумать. (Возгласы «Правильно». Аплодисменты, смех. Сталин с места: "Здорово, Бухарин, здорово. Не говорит, а режет.)
Томский в ноябре 1927 года выражается ещё более определённо:
Оппозиция очень широко распространяет слухи о репрессиях, об ожидаемых тюрьмах, о Соловках и т. д. Мы на это скажем нервным людям: "Если вы и теперь не успокоитесь, когда мы вас вывели из партии, то теперь мы говорим: нишкните, мы просто вежливо попросим вас присесть, ибо вам стоять неудобно. Если вы попытаетесь выйти теперь на фабрики и заводы, то мы скажем «присядьте, пожалуйста» (Бурные аплодисменты), ибо, товарищи, в обстановке диктатуры пролетариата может быть и две и четыре партии, но только при одном условии: одна партия будет у власти, а все остальные в тюрьме. (Аплодисменты).
В таком же духе выступает и Рыков, на XV съезде ВКП(б) в декабре 1927 года заметивший, что «нельзя ручаться за то, что население тюрем не придётся в ближайшее время несколько увеличить». В качестве подарка съезду делегатам прислали из Сталинграда метлу. Рыков лично вручил её Сталину со словами: «я передаю метлу товарищу Сталину, пусть он выметает ею наших врагов».
Организованное Сталиным большинство всё больше вытесняет оппозиционеров из легального поля, лишая их возможности вести дискуссии на пленумах, съездах, и в печати. В июле 1926 года зиновьевец Лашевич организует в подмосковном лесу нелегальное собрание оппозиции, за что Зиновьев выводится из Политбюро, как «руководящий фракционной деятельностью». Накал страстей приводит к тому, что во время совместного июльского пленума ЦК и ЦКК прямо в зале заседаний у Дзержинского Ф. Э. происходит сердечный приступ, 20 июля он умирает.
Осенью 1926 года оппозиция пытается организовать агитацию на «низовых» партийных ячейках, что сопровождается хорошо организованными обструкциями, и исключениями сторонников оппозиции из партии «за фракционную деятельность». Троцкий яростно атакует Сталина, заявляя, что «идейное убожество заменено аппаратным всемогуществом», и «наверху создалась каста, оторвавшаяся от масс».
Аппарат дал бешеный отпор. Идейная борьба заменилась административной механикой: телефонными вызовами партийной бюрократии на собрания рабочих ячеек, бешеным скоплением автомобилей, рёвом гудков, хорошо организованным свистом и рёвом при появлении оппозиционеров на трибуне. Правящая фракция давила механической концентрацией своих сил, угрозой репрессий. Прежде чем партийная масса успела что-нибудь услышать, понять и сказать, она испугалась раскола и катастрофы.
Вместе с тем оппозиционеры Зиновьев, Петерсон, Муралов и Троцкий в своём письме Политбюро ЦК ВКП(б), Президиум ЦКК, и Исполком Коминтерна от 6 сентября 1927 года признают, что «в прошлом нашей партии такие средства [срывание собраний] применялись нами на собраниях, созываемых буржуазными партиями, а также — на собраниях с меньшевиками после окончательного раскола с ними. Внутри нашей партии подобные методы должны быть самым решительным образом запрещены, ибо они мешают решению партийных вопросов партийным путем».
Постепенное «выдавливание» оппозиционеров за рамки «советской легальности» приводит к тому, что под предлогом «нарушения партийной дисциплины» Троцкий и Каменев в октябре 1926 года исключаются из Политбюро. Также осенью 1926 года от оппозиционеров отходит Крупская Н.К, заявившая, что «оппозиция зашла слишком далеко». Тем не менее, Троцкий остаётся в составе ЦК, время от времени яростно атакуя Сталина на его пленумах. 26 ноября 1926 года Каменев Л. Б. был удалён из России, и отправлен в Италию в качестве полпреда. Один из основных «зиновьевцев», Сокольников Г. Я. ещё в 16 января 1926 года переведён с должности наркомфина на должность заместителя председателя Госплана СССР.
Постепенная «агония» оппозиции на какое-то время отодвигается политическим кризисом в Китае. В конце 1926 года блок Сталин-Бухарин настаивал на проведении Коммунистической партией Китая умеренной политики, и составлении альянса с возглавляемым Чан Кай Ши движением Гоминьдан. Подобная тактика резко отличалась от тактики самих коммунистов в 1917 году, и закончилась провалом; в апреле 1927 года Чан Кай Ши, опасаясь соперничества с китайскими коммунистами, разогнал их силой.
Политический кризис в Китае был широко использован оппозицией для критики Сталина, как «саботаж строительства международной системы социализма». Троцкий охарактеризовал китайские события, как «очевидное банкротство сталинской политики».
В июне 1927 года главный контрольный орган партии, ЦКК рассматривает дела Зиновьева и Троцкого, однако решает их из партии не исключать. В июле Троцкий выдвигает двусмыссленный «тезис Клемансо», который Сталин 1 августа на объединённом пленуме ЦК и ЦКК охарактеризовал, как обещание «захватить повстанческим путём власть в случае войны», организованное Сталиным большинство осуждает Троцкого за «условное оборончество» и стремление «организовать вторую партию». В то же время Сталин выступает против исключения Троцкого из партии, в результате пленум ограничивается объявлением Зиновьеву и Троцкому строгого выговора.
Осенью 1927 года Сталин окончательно «выдавливает» левую оппозицию за рамки «советской легальности». В сентябре оппозиционеры организуют в Москве и Ленинграде нелегальные рабочие сходки, которые посетили до 20 тыс. чел. В ряде городов выступления оппозиционеров на собраниях партактивов прерываются криками и свистом; в Ленинграде во время выступления оппозиции в зале заседаний был отключен свет, на собрании партактива Петроградского района на выступавшего оппозиционера напали, и разорвали предлагавшийся им проект резолюции. Ряд оппозиционеров получают назначения заграницу, в частности, никогда не работавший в торговле Сафаров Г. И. «высылается» в советское торгпредство в Турции, однако выехать отказался. Разворачиваются массовые исключения из партии рядовых оппозционеров, к ноябрю 1927 дошедшие по крайней мере до 600 человек, 26 августа появляется директива не принимать в члены партии кандидатов-оппозиционеров.
Для печати агитационной литературы организуется нелегальная типография по образцу дореволюционной подпольной деятельности.
7 ноября 1927 года проходит оппозиционная демонстрация в годовщину Октябрьской революции. Демонстрация была организована под руководством Смилги и Преображенского в Москве возле бывшей гостиницы «Париж» на углу Охотного ряда и Тверской улицы, и под руководством Зиновьева, Радека и Лашевича в Ленинграде. Оппозиционные демонстрации атаковали толпы, забрасывавшие их «льдинами, картофелем и дровами», выкрикивали лозунги «бей оппозицию», «долой жидов-оппозиционеров» и т. д. Смилга, Преображенский, Грюнштейн, Енукидзе и др. были вытащены с балкона толпой, и избиты, вслед машине с Троцким, Каменев и Муралов было сделано несколько выстрелов, после чего неизвестными была предпринята попытка вытащить их из машины.
11 ноября ЦК ВКП(б) требует от оппозиционеров прекратить нелегальные собрания на частных квартирах (так называемые «смычки»), в некоторых случаях собиравших по несколько сотен человек, и проходивших, в частности, в Техническом училище. Ряд подобных собраний сопровождаются столкновениями со сторонниками Сталина, в частности, по утверждению Троцкого, в Харькове дошло до «револьверных выстрелов».
На совместном октябрьском пленуме ЦК и ЦКК Троцкий требует огласить «Завещание Ленина», и, в соответствии с ним, снять Сталина с поста Генерального секретаря. Сталин вынужден действительно огласить текст «Завещания». После XV Съезда ВКП(б) Сталин просит от пленума ЦК принять его отставку с поста Генсека, однако контролируемый самим же Сталиным ЦК отставку не принимает.
Организация оппозиционерами нелегальной типографии и нелегальной октябрьской манифестации становится поводом для исключения Зиновьева и Троцкого из партии 16 ноября 1927 года. Во время этих событий кончает жизнь самоубийством один из основных сторонников Троцкого, смертельно больной Иоффе А. А.