我试图通过抓取来从Instagram获取一些信息.我在twitter上试过这个代码并且工作正常但是在Instagram上没有显示结果这两个代码都可以在这里找到.

Twitter代码：

from bs4 import BeautifulSoup
from urllib2 import urlopen
theurl = "https://twitter.com/realmadrid"
thepage = urlopen(theurl)
soup = BeautifulSoup(thepage,"html.parser")
print(soup.find('div',{"class":"ProfileHeaderCard"}))

结果：完全给出.

Instagram代码：

from bs4 import BeautifulSoup
from urllib2 import urlopen
theurl = "https://www.instagram.com/barackobama/"
thepage = urlopen(theurl)
soup = BeautifulSoup(thepage,"html.parser")
print(soup.find('div',{"class":"_bugdy"}))

结果：无

最佳答案 如果您查看源代码,您将看到内容是动态加载的,因此您的请求返回的内容中没有div._bugdy,具体取决于您希望它可以从脚本json中提取它：

import requests
import re
import json

r = requests.get("https://www.instagram.com/barackobama/")
soup = BeautifulSoup(r.content)
js = soup.find("script",text=re.compile("window._sharedData")).text
_json = json.loads((js[js.find("{"):js.rfind("}")+1]))
from pprint import pprint as pp

pp(_json)

这将为您提供在返回的源中的< script type =“text / javascript”> window._sharedData = …..中看到的所有内容.

如果您想要关注者,那么您将需要使用像selenium这样的东西,该网站几乎都是动态加载的内容,以获得您需要的关注者点击链接,只有您登录后才能看到,这将获得你更接近你想要的东西：

from selenium import webdriver
import time
login = "https://www.instagram.com"
dr = webdriver.Chrome()

dr.get(login)

dr.find_element_by_xpath("//a[@class='_k6cv7']").click()
dr.find_element_by_xpath("//input[@name='username']").send_keys(youruname")
dr.find_element_by_xpath("//input[@name='password']").send_keys("yourpass")
dr.find_element_by_css_selector("button._aj7mu._taytv._ki5uo._o0442").click()
time.sleep(5)
dr.get("https://www.instagram.com/barackobama")

dr.find_element_by_css_selector('a[href="/barackobama/followers/"]').click()
time.sleep(3)
for li in dr.find_element_by_css_selector("div._n3cp9._qjr85").find_elements_by_xpath("//ul/li"):
    print(li.text)

单击链接后,从弹出窗口中显示的li标签中提取一些文本,您可以从无序列表中提取所需内容：