Python 适合大数据量的处理吗

2025-04-13 08:15:29
推荐回答(2个)
回答1:

需要澄清两点之后才可以比较全面的看这个问题:

1. 百万行级不算大数据量,以目前的互联网应用来看,大数据量的起点是10亿条以上。
2.

处理的具体含义,如果是数据载入和分发,用python是很高效的;如果是求一些常用的统计量和求一些基本算法的结果,python也有现成的高效的
库,C实现的和并行化的;如果是纯粹自己写的算法,没有任何其他可借鉴的,什么库也用不上,用纯python写是自讨苦吃。

python的优势不在于运行效率,而在于开发效率和高可维护性。针对特定的问题挑选合适的工具,本身也是一项技术能力。

回答2:

你要的是多大
统计分析R最快,但是R的内存只给8G,你的运算量超过8G就用python吧
如果也就那么1G都不到的数据量就别着急那个语言了,1G一下大家都差不多,或者说相差的那点时间根本都不在乎
还是就你的时间复杂度,虽然数据量小但是复杂度高的话,那么你自己计算下内存算吧,我一般是这两款交替着用,真心没遇到过说很大的数据搞不定
少些几个for时间复杂度下来什么都好办