当搜索引擎(例如baidu.com)蜘蛛抓取网页时,返回源IP如何设置?

当搜索引擎(例如baidu.com)蜘蛛抓取网页时,显示的IP是Cloudflare的IP节点,请问如何设置蜘蛛抓取网页时,显示源ip呢

When a search engine (such as baidu.com) spider crawls a web page, the ip displayed is the IP node of Cloudflare. How can I set the source IP to be displayed when the spider crawls a web page?

You need to configure your server to get the visitor IP address from headers: X-Forwarded-For and CF-Connecting-IP

谢谢

我并不需要访客户IP地址,我是想让搜索引擎蜘蛛抓取页面时,得到是源IP而不是Cloudflare的ip

你能给我一个详细的配置说明吗,谢谢

Can you give me a detailed configuration description, please

A post was split to a new topic: Scripts stop receiving client IP

这个应该与PHP无关,应该是服务器配置或Cloudflare功能性的问题,对于SEO来说,搜索引擎爬虫抓取网站时返回的IP是源站IP才是最好的,但现在返回的是Cloudflare的IP,怎么办?

Hi @cdbeian,

Not sure if I entirely understand the question.

I see is as, when a search engine crawls the page, it sees Cloudflare’s IP address and not the Origin’s IP address, is that right?

If so, then if you proxy (:orange:) your website through Cloudflare, you will see Cloudflare IPs for your site. The only way not to is to set to :grey: which bypasses all Cloudflare’s services and switches to DNS only mode.

是的,:橙子: 搜索引擎爬虫(www.baidu.com) 抓取页面时显示是104开头的IP,应该显示我VPS的IP才是有利有SEO的

我想得到答案是:
当搜索引擎爬虫(www.baidu.com)抓取页面时显示我VPS的IP

目前我的站点已接入了Cloudflare
1883925458_ea5344b66f88b24305eeaf5fe1f63826

如果你是想要 Cloudflare DNS 对同一个域名向不同客户返回不同的响应, 这个可能做不到. 你确定这么做真的有好处吗?

搜索引擎爬虫抓取网站时返回源站IP,用户访问才是Cloudflare的IP

据我所知 Cloudflare DNS 没有这样的功能.

1 Like

@cdbeian, this is not possible.

1 Like

中国大陆很多CDN都有就有搜索引擎蜘蛛回源设置, 例如:su.baidu.com(Cloudflare的合作伙伴)

你能提供这方面的文档吗? 我理解的 “回源” 是指绕过 CDN 缓存, 不是通过 DNS 暴露源站的地址.

据我所知 Cloudflare 的确没有类似 “搜索引擎线路” 的功能.

“回源”是绕过CDN缓存 直接指向源站服务器的IP,
但现在的 Cloudflare的确没有类似“搜索引擎线路”
从SEO的角度来说,独立IP应该会比共享IP好一些,这个也是我想让Cloudflare 搜索引擎抓取回源的原因。但目前我不知道如何配置搜索引擎抓取回源

This topic was automatically closed after 14 days. New replies are no longer allowed.