cURL - 加载一个有CloudFlare保护的网站

21 人关注

我有一个网站，我想用cURL来加载。但是，我说的这个网站使用的是cloudflare保护。当cURL请求=>它说'检查你的浏览器，你将在5秒内被重定向'，我被重定向到不存在的页面，因为我认为我没有通过一些保护测试。

我一直在寻找我的答案，我只找到两个有用的链接。

但我还是搞不清楚。有什么可以帮助我的吗？

3 个评论

developerwjk ：

那么你就不应该用程序来读取网址。

：

也许如果他们不想让你访问他们的网站，你就不应该访问？

andree ：

可能与 curl 重复：由于CloudFlare，无法从网站获取rss信息

php

curl

cloudflare

Marcin

发布于 2013-08-29

3 个回答

xxdesmus

发布于 2021-11-12

已采纳

0 人赞同

这将是CloudFlare的I'm Under Attack Mode --> http://blog.cloudflare.com/introducing-im-under-attack-mode 。

如果你是网站的所有者，你应该把你自己的IP地址列入白名单。如果你是该网站的访问者，要么是

1.)网站所有者在他们自己的网站上启用了该功能，在这种情况下，这是故意的，没有办法，因为他们正在保护他们的网站或

2.)你加载网站的频率过高 -- 你正在触发CloudFlare的DDOS保护。

p.s. 免责声明：我为CloudFlare工作。

Ziomuś Gorliczanin ：

你好，由于你在为CloudFlare工作，我想告诉你，有一种方法可以绕过你的 "内容保护"。1.用Curl加载页面，2.将其传递给Selenium，将浏览器设置为Chrome。3.3. 用以前的cookie加载页面，等待5秒钟，然后打印出其内容。很简单 :)

ticoombs

发布于 2021-11-12

0 人赞同

你可以通过在任何主要浏览器的开发工具下的网络部分选择 "复制为cUrl "来绕过被攻击的模式。

这将复制所有需要的cookie，这样你的curl就可以被 "验证 "了。我认为这些cookie的持续时间将由cloudflare决定。

题外话：Curl必须运行在与你加载网站的同一IP上。另外，对于任何真正的测试/开发环境，我建议使用 Selenium 和/或 Phantomjs ，它们是更好的、容易编写脚本的网站测试语言。

curl 'https://ilikeurls.net/ourpage.php?do=command' \
    -H 'Host: ilikeurls.net' \
    -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:33.0) Gecko/20100101 Firefox/33.0' \
    -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' \
    -H 'Accept-Language: en-US,en;q=0.5' \
    -H 'Referer: https://ilikeurls.net/outpage.php' \                                                    
    -H 'Cookie: all required cookies will appear here' \
    -H 'Connection: keep-alive'\
    --compressed