分析网站的access_log总是有很多噪音日志，有搜索引擎的蜘蛛，也有订阅源什么的，非常麻烦 我现在的做法是用UA的一些关键字做过滤，维护一个过滤列表，每分析一条就去过滤一次。 我想问问，还有没有其他更好的方案，因为过滤UA的方法，当列表很大的时候，效率非常差，而且这个列表也不一定全，需要定时去观察数据，更新列表。
access log记录时就过滤掉已知bot的访问记录写入单独log文件
欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站，提供途径助开发者查找IT技术方案，解决程序bug和网站运维难题等。 温馨提示：本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容，谢谢支持。
