金兵似乎能掐会算，宋军这边刚刚部署完成，他们就已经按捺不住了，顺风鼓噪渡江。金兵将领蒲卢浑进谏说：“宋军舟船很大，行驶速度很快，我们这边船太小，而且速度非常慢，不善水战，恐怕不能速战速决。”可是完颜亮听完谏言后，先是对蒲卢浑一顿斥责，紧接着命令军队立即前进。完颜亮先让一小部分水军试探宋军虚实，不过宋军也不傻，他们看出这是金军的手段，并没有进行反击。这时候，完颜亮率领数百艘战船从杨林渡口出发，顺水向东岸冲去。谁曾想，金兵刚刚靠近岸边，周围就响起了号角声。宋军从两头隐藏处冲杀了过来，与金兵厮杀成一团。宋军的这种气势，让金兵有些措手不及。他们想要后退，可是逆风逆水。所以，他们只能选择仓促上岸，但也只是一少部分而已。看到金兵上岸，虞允文便对勇将时俊说：“你的胆量，天下闻名，此时立在阵后做甚？”时俊只是笑而不语，随后挥舞双刀冲向金军。大队宋军也跟着冲出去。一会儿工夫，那些上岸的金兵就被宋军全部消灭了。