早上发现一个站点很奇怪,PV/UV接近1:1
看了一下log, 才发现原来是Petal Bot 在做怪,google 了一下发现petalsearch.com这个搜索引擎貌似是huawei的产品.
关于这个产品,在huawei的网站上有详细的说明
PetalBot is an automatic program of the Petal search engine. The function of PetalBot is to access both PC and mobile websites and establish an index database which enables users to search the content of your site in Petal search engine. You can identify crawling from Petal by analyzing the User-agent field.
在PC上的UA: Mozilla/5.0 (compatible;PetalBot;+http://aspiegel.com/petalbot)
在mobile上的UA:
Mozilla/5.0(Linux;Android7.0;)
AppleWebKit/537.36(KHTML,likeGecko)
MobileSafari/537.36(compatible;PetalBot;+http://aspiegel.com/petalbot)
常用的ASN是 AS136907 Huawei Cloud Singapore, 可以安心的把这个ASN封掉