爬虫的数据库选型,redis、leveldb、 mongodb、 mysql应该选哪个?
的有关信息介绍如下:选mongodb,爬虫表字段不定,变化比较大,所以像mysql这种关系型数据库不太合适,开发起来不大方便。而redis的数据查询功能查询功能相对来说比较弱,而有时爬回来的数据要做数据分析需要用到一些条件查询,对于条件查询redis是非常鸡助的。leveldb不熟,不清楚。mongo基本可以实现上述的所有需求,动态字段、条件查询,所以很适合用作爬虫数据的存储。
首选mongodb,。redis强内存型,快,但持久化查询都比较方便,不实用。leveldb没见过。MySQL关系型数据库,不容易拓展。mongodb刚好基于内存而又易拓展易持久化。