beautifulsoupすべてのHTMLを返しません

アリレザ：

import requests
from bs4 import BeautifulSoup

r = requests.get('https://www.amazon.com/s?k=iphone+5s&ref=nb_sb_noss')
c = r.content

soup = BeautifulSoup(c, 'html.parser')

all = soup.find_all("span", {"class": "a-size-medium a-color-base a-text-normal"})

print(all)

これは、タグの特定のシリーズを見つけ、それらを抽出しようとしたとき、私は何を取得、そのためのpythonの私の簡単なスクリプトは、アマゾンでページをこすりしようとしているが、すべてのHTMLは「スープ」変数に返されていません。

ジャイ：

以下のコードを試してみてください、それはあなたのためにトリックを行う必要があります。あなたが実際にあなたのコードにヘッダを追加するために逃しました

import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = 'https://www.amazon.com/s?k=iphone+5s&ref=nb_sb_noss'
response = requests.get(url, headers=headers)
print(response.text)
soup = BeautifulSoup(response.content, features="lxml")
my_all = soup.find_all("span", {"class": "a-size-medium a-color-base a-text-normal"})
print(my_all)