Vaex秒开大数据比pandas更快更好的Python库

　　1说明：
　　1。1Vaex：一种具有超级字符串功能的DataFramePython库。
　　1。2一种更快、更安全、更方便的方法，可以使用几乎任意大小的数据进行数据研究分析，适合大数据，比如秒开100G。
　　1。3与Pandas（Python生态系统中最受欢迎的DataFrame库）相比，四核笔记本电脑上的字符串操作速度提高了约30100倍，而32核设备上的字符串操作速度提高了1000倍。
　　1。4Vaex使用ApacheArrow数据结构和C，几乎所有Pandas的字符串操作都受支持，并且内存使用率几乎为零，因为延迟计算是以块的形式完成的。
　　2准备：
　　2。1官网：https：github。comvaexiovaex每天都在更新和维护http：vaex。iohttps：pypi。orgprojectvaexhttps：vaex。readthedocs。ioenlatest
　　2。2环境：
　　华为笔记本电脑、深度deepinlinux操作系统、谷歌浏览器、python3。8和微软vscode编辑器。
　　2。3安装：pipinstallvaex本机安装，国内源sudopip3。8installihttps：mirrors。aliyun。compypisimplevaex
　　3打开数据文件方式：
　　3。1代码样式：importvaex自带数据集dfvaex。example（）注意自带数据集，需要安装hdf5打开本地：不同文件格式的方法很简单df1vaex。open（somedata。hdf5）df2vaex。open（somedata。fits）df2vaex。open（somedata。arrow）df4vaex。open（somedata。csv）
　　3。2hdf5安装：本机deepinlinux操作系统
　　3。2。1官网：https：support。hdfgroup。orgHDF5
　　3。2。2下载：https：support。hdfgroup。orgftpHDF5releaseshdf51。12hdf51。12。0src下载源码安装
　　hdf51。12。0。tar。gz下载速度很慢，这是一个坑，可以跳过，不用自带的数据集vaex。example
　　建议采用终端的：c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。wgetchttps：support。hdfgroup。orgftpHDF5releaseshdf51。12hdf51。12。0srchdf51。12。0。tar。gz
　　3。2。3安装：注意本机是deepinlinux操作系统：sudomvhomexgjhdf51。12。0。tar。gzoptcdoptxgjxgjPC：optsudotarxvfhdf51。12。0。tar。gzcdhdf51。12。0xgjxgjPC：optcdhdf51。12。0xgjxgjPC：opthdf51。12。0依次执行sudo。configureprefixusrlocalhdf5sudomakesudomakecheck这一步有点慢sudomakeinstall转换文件夹cdusrlocalhdf5sharehdf5examplescsudo。runcex。shsudoh5ccoh5extendh5extend。csudo。h5extend
　　4读取hdf5数据：
　　4。1代码：importnumpyasnpimportvaexasvximportpylabaspltdfvx。open（homexgjDesktopvaexiosamplenames2。hdf5）df
　　4。2图：
　　5读取csv数据：
　　5。1代码：importnumpyasnpimportvaexasvximportpylabaspltdfvx。open（homexgjDesktopvaexgdppercapita。csv）df
　　5。2图：
　　数据可视化部分基本与pandas类似
　　自己整理并分享出来
　　喜欢的人，请点赞、关注、评论、转发和收藏。