master的爬虫运行时会把提取到的url封装成request放到redis中的数据库：逗dmoz:requests地，并且从该数据库中提取request后下载网页，再把网页的内容存放到redis的另一个数据库中逗dmoz:items地 slave从master的redis中取出待抓取的request，
