这是两行代码更改
以确保域名按其域名权限正确分类。我们使用DA 来确定对域名进行多深的抓取۔ 今年،我们增加了爬虫队列,并在调度程序中增加了一些额外检检新。通过这亞加列能和错误修复，我们现在的爬虫速度创下了新高，每天我们的爬虫检的网页慰量10 亿个. 我们也进步了. 这一切都有好的一面。
我们在到的有趣数据形状促使我们检代码中的几个瓶 企业主数据库 颈并对其进行优化。这有助于提高我们生成索引的性能。我们现在可以自动处理数据中的一些奇怪形状而无需任何干预,因此我们应该该到处理集群的问题更少. 增加了更多限制. 每页的链接数量有最大限制（前 2,000 个）۔ 我们已禁止包含过多子域名的域名. 任何拥有超过 10,000 个子域名的域名都已被禁止...... ...除非它明确列入白名单（例如 Wordpress.com）۔ 我们有大约 70,000 个白名单域名۔ 此项禁令影响约 250,000 个域名（大多数为 .cn 和 .pw TLD）... 450可能并不太关心这些子域名. 我们做出了积极的改变. 更好地监控 DNS（配有警报）۔ 对于高质量域名，DNS 故障后不会自动禁止域名（但对于低质量域名仍然会. 一些代码质量改进将使索引生成速度更快. 我们的履带式挖掘机车队规模已扩大一倍,并且还将进行更多改进. 那么، 2016 年的情况如何： 很好！但我被告知需要更具体一点。
:-) 2016 میں年到来之前，我们还有很长的 2015左右، 并每三周定期发布一次索引۔ 我们也正在改进与 Google 80%；我们正在测试一种新技术来改进我们的指标相关性和 Google覆盖度。
这将是一个持续的过程，尽管我们预计 2015年 今年索引方面的困难给我们带来了一些非常宝贵的教训。 我们已经确定了一亢。及其原因。 我们将攻克这些瓶颈,提高处理集群的性能,以便更快地为您生敢田忙些瓶颈. 我们改进了抓取集群，现在每天的网页数量超过 10亿.这可是很庞大的网页数量。
你猜怎么着？我们的数据中心仍有一些空闲带宽，可以抓取更多网站我们计划改进抓取工具،以提高抓取速度،减少索引中的历史天数,让我们能够更多近期数据. 总之，2016 年，我们期待在到更大规模的指数，时间框架更加一致，使攨更少的历可我们期待。
頁:
[1]