分享一些恶意爬虫的UA特征

使用宝塔面板的可以添加在Nginx防火墙里面的UA黑名单（自己整理，仅供参考）

paloaltonetworks
Go-http-client
webprosbot
python
github
libcurl
fasthttp
ZoominfoBot
Knowledge AI
RepoLookoutBot
seokicks
serpstatbot
SurdotlyBot
DataForSeoBot
DigExt
HttpClient
MJ12bot
AhrefsBot
DotBot
SemrushBot
MegaIndex
BLEXBot
ExtLinksBot
DnyzBot
Web-Crawler
Ezooms
Linguee Bot
WellKnownBot
MauiBot
HubSpot
Criteo
Barkrowler
Grapeshot
Yellowbrandprotectionbot
FlightDeckReports
Heritrix
AwarioBot

再分享一些冒充手机设备拼命爬的恶意UA（都是非常老的手机）

SM-G900P
OPPO A33
FRD-AL00
ALE-CL00
这些机型非常老，2012-2014年的老手机，一般不会有人在用，不过我本人是没有屏蔽，因为最近发现，这些爬虫换了手机型号，现在还模拟了各种其他手机，比如小米，还有QQ浏览器等各种浏览器UA