使用BeautifulSoup在div下的li中找不到文本

由 发布于

I am trying to use BeautifulSoup to get the text in ul under a div in this website: https://www.nccn.org/professionals/physician_gls/recently_updated.aspx

但是我只有一个空的div。我的代码是：

page = requests.get("https://www.nccn.org/professionals/physician_gls/recently_updated.aspx")

soup=BeautifulSoup(page.content,"html.parser")

_div=soup.find("div",{"id":"divRecentlyUpdatedList"})

element = [i.text for i in b.find("a") for b in _div.find("ul")]

结果是：

The HTML file screenshot is as follows: div and ul

另外，在div之后，我正尝试从以下内容获取JavaScript：

div and javascript

我也试着让所有的李这样：

l = []
for tag in soup.ul.find_all("a", recursive=True): 
    l.append(tag.text)

但是我收到的文字不是我想要的。该div下的文本是否被javascript隐藏？

欢迎任何帮助。提前非常感谢您。