用Javascript滚动到页面底部，并能准确推断出页面已到底部的要领

2024年3月22日 301次阅读 来源: KevinYan

如今的页面大部份都是经由过程Js衬着来显现页面的，也就是假如不转动到页面底部就没法猎取全部页面的HTML源码，假如经由过程CURL等抓取网页那末基本上抓取到都是一堆javascript代码。

所以就有了webkit爬虫，把全部页面衬着完了再抓取。这个抵达页面底部的操纵通常是在webkit中实行Js来完成的，注重假如经由过程js直接跳究竟部页面只会衬着底部的HTML，中心的部份是不会衬着的。 所以下面这段代码就是经由过程js逐渐转动到页面底端，并且能推断出页面已达究竟端来把setIntervel绑定的定时器清掉，以避免形成死循环。

var delay = 10;//in milliseconds
var scroll_amount = 10;// in pixels
var interval;
function scroller() {
    var old = document.body.scrollTop;//保留当前转动条到顶端的间隔
    document.body.scrollTop += scroll_amount;//让转动条继承往下转动
    if (document.body.scrollTop == old) {//究竟部后就没法再增添scrollTop的值
        clearInterval(interval);
    }
}
function scrollToBottom()
{
  interval = setInterval("scroller()",delay);
}

scrollToBottom()

用Python的ghost.py库来做webkit爬虫时就能够用它的evaluate要领实行这段代码来衬着出全部页面。

    原文作者：KevinYan
    原文地址: https://segmentfault.com/a/1190000003790456
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞