因此，为取得日本的又持，换取一姓尊荣，他决定同日本进行谈判。对于“二十一条”，袁世凯作了详细具体的批示，某号某条谈不谈，如何谈，基本上都有明确的意见。对第五号，他认为日本干涉内政，侵犯主权，坚持不议，态度比较坚决。
并指示陆徵祥逐条讨论，故意泄露日本的要求和谈判情况，争取国外舆论的同情，利用扩大帝国主义之间的矛盾，引起外国的干涉。还派有贺长雄赴日本探听元老们的意图。
谈判开始后，中国要求日本让步，日本不肯。谈至3月中旬，仍无结果，日本在奉天、山东增兵数千人进行威胁。4月26日，日本提出最后修正案，要求务必同意。5月1日，中国政府亦提出最后修正案。日本马上摆出一副大打一场的姿态，命令军舰在渤海一带游弋，关东实行戒严，日侨纷纷准备回国，空气极其紧张。
袁世凯被日本的威慑所吓倒，5月6日命曹汝霖至日驻华使馆，相机“略示让步之意”。正当曹汝霖与日置益会晤时，恰好驻日公使陆宗舆把日本元老会议请其政府对第五号撤回的消息发回国内，外交部立即用电话通知曹汝霖。曹汝霖临机应变，谓刚才所言，纯系个人私见，随即告辞。
5月7日下午三点，日置益向外交部递送了最后通牒，声称：“帝国政府因鉴于中国政府如此之态度，虽深惜几再无继续协商之馀地，然终眷眷于维持极东和平之帝国，务冀圆满了结此交涉，以避时局之纠纷。于无可忍之中，更酌量邻邦政府之情意，将帝国政府前次提出之修正案中之第五号各项，除关于福建省互换公文一事业经两国政府代表协定外，其他五项，可承认与此次交涉脱离，日后另行协商。