提到网络爬虫（BOT），不少人会想到搜索引擎爬虫。是的，在今天的互联网上，无处不在的搜索引擎爬虫为网络信息的抓取、搜索发挥了至关重要的作用。不过，互联网世界的爬虫并非总是有益的，这有点类似于现实世界的细菌，既有好的，也有坏的。

        日前，在Akamai举办的在线媒体会上，Akamai中国区企业事业部总经理何铭和Akamai大中华区产品市场经理刘炅对于“BOT攻击”的特点、方式手段，所带来的网络安全挑战以及Akamai爬虫管理解决方案进行了深入介绍。

“BOT攻击”引发的网络安全威胁不容小觑

        首先不妨先来看一下爬虫的定义。爬虫其实是一种在互联网上可以通过远程自动化运行的小程序。爬虫也分有益的和恶意的区别，互联网搜索引擎爬虫就是好的爬虫；坏爬虫其实就是恶意程序，会对互联网上的目标网站或站点进行攻击、盗取数据——即“BOT攻击”。

        事实上，在今天的互联网流量中，约有40%的流量都是由爬虫产生的。因此，由恶意爬虫引发的互联网安全问题绝对不容小觑。在Akamai大中华区产品市场经理刘炅看来，“BOT攻击”对用户的网络安全造成了极大威胁。大致而言，“BOT攻击”的方式可以归纳为以下几种。

Akamai大中华区产品市场经理刘炅

        第一种是凭证滥用类攻击，人们经常听到的撞库攻击实际上就是凭证滥用攻击的最主要方式。它将从黑市上获取的大量用户数据和账户信息在不同的网站进行登录尝试，从而得到有效账户，最终把这些账户非法贩卖给其他人。

        第二种是账户接管，或者叫做账户盗用。这种类型最早指对于银行账户的盗取，现在也指对包括电商、游戏账户在内的互联网账户的盗取。这种攻击通常也是通过登陆尝试或蛮力手段得到账户，在接管账户后进行信息窃取或进一步攻击。这两种基于爬虫的攻击类型较为常见。其他攻击类型还包括库存囤积、薅羊毛、市场欺诈。此外，还有一类攻击会利用僵尸网络（Botnet）进行应用层的DDoS攻击，最终导致被攻击网站的经济利益受损以及名誉毁坏。

        据刘炅介绍，“BOT攻击”为各行各业带来安全威胁，Akamai数据显示，零售业是受到爬虫攻击最为严重的行业之一，除此之外，爬虫攻击的主要目标还包括媒体、金融、酒店及旅游业。在零售业中，服装类、电商门户类以及百货类的网站更易遭到爬虫攻击。

 “BOT攻击”呈现频繁化和复杂化发展趋势

         作为全球最大智能边缘网络，Akamai每天交付的Web流量每秒超过50 Tb，因此，Akamai能够轻易洞察互联网“BOT攻击”的相关情况。

        根据Akamai今年第一季度发布的《2020年互联网安全状况报告：金融服务——恶意接管尝试》，目前“BOT攻击”主要呈现以下趋势。

        第一，攻击次数居高不下。在报告统计的约两年内，Akamai共发现了超过850亿次攻击，日均攻击量达到1.2亿次之多。

        第二，攻击手段越发复杂。攻击者会通过多合一的工具、利用僵尸网络发起分布式攻击。鉴于当前API协议的广泛使用，攻击者便利用API的自动化特性、采用API作为主要攻击手段。Akamai发现近20%的凭证滥用攻击都是基于API的登录方式。

        第三，金融业已成为攻击重灾区。根据Akamai的数据，在针对金融服务业发起的撞库攻击中，高达75%的攻击直接以API为目标。

 Akamai爬虫管理解决方案具备四大特点，助中国用户应挑战

         随着“BOT攻击”方式以及人们防御手段的不断演进，当前市场上关于爬虫管理的产品及解决方案也日臻成熟。事实上，Akamai在爬虫管理领域一直处于领先地位。例如，今年二月，“Forrester New Wave™：2020年第一季度爬虫程序管理评估”报告刚刚认定Akamai为“领导者”。不仅如此，Akamai在三月也对其爬虫管理解决方案Bot Manager（爬虫管理器）进行了升级，此举更是注重攻防能力的提升。据悉，新版本的Bot Manager主要在以下几个方面得到升级。

        第一，提供更多和更精准的爬虫检测方法。其中包括POW（Proof of Work）挑战检测方法，该方法主要在防护设备或防护端对爬虫流量请求端发出挑战，通过检测请求端对挑战的回应，判别“幕后操作手”是爬虫还是真是人类。此外，Akamai在该检测方法中增加了加密算法，迫使恶意爬虫的计算量增加，达到消耗内存或CPU的目的。

        第二，基于人工智能的评分机制。通过平台的云端数据和威胁情报，Akamai可以对爬虫威胁进行自动评分，并根据评分进行更细粒度的防护。

        第三，增加更多场景支持，尤其对于跨域场景的支持。由于很多应用的客户端会发起跨域的请求，为了使跨域请求的检测更加精准，Akamai定义了新的攻击检测方式，从而扩展更多的应用防护场景。

        第四，与mPulse产品相集成。mPulse是Akamai的真实用户监测产品，能够检测出用户访问网站快慢的原因。通过结合mPulse，Akamai的爬虫管理解决方案可以可视化地展现出爬虫对网站性能产生的影响。

Akamai中国区企业事业部总经理何铭

        据Akamai中国区企业事业部总经理何铭介绍，三年前，中国企业对于“BOT攻击”的认识还尚浅，但随着“BOT攻击”的日趋泛滥，多数Akamai客户在2018年已认识到它的危害性，并开始采用多种防御手段。不仅如此，自2018年起，许多企业在大力防御“BOT攻击”的同时，还会有意引入善意爬虫来帮助自身促销或打广告。因此，对好坏爬虫进行有效管理在当前就显得尤为重要。

        他建议企业选择爬虫管理产品时要从三个方面入手。第一，要从综合的角度出发；第二，必须要寻找此领域具备丰富经验的厂商；第三，除经验外，厂商还须具有一定资源，才能够帮助用户真正应对爬虫带来的威胁。

        毫无疑问，Akamai作为CDN巨头，拥有着全球最大的智能边缘网络。正因如此，它在爬虫管理领域有着得天独厚的优势和资源——平均而言，Akamai每小时检测超过4.8亿个爬虫程序请求，每天检测2.8亿次爬虫程序登录，并在边缘处采取措施保护数字化业务、抵御不断变化的爬虫程序环境，有能力和实力助力中国行业用户应对“BOT攻击”带来的最复杂的网络安全挑战！