如何让数据分析变得像聊天一样简单?这不仅仅是一个工具分享,更是一个关于未来工作方式的思考。
上传一份数据,即使百万级数据也能轻松支持,例如这里有一份上海市2023年全部的兴趣点数据,一共150.9万。
一句话让它帮你对数据进行描述性统计:
一句话让你帮你进行分组统计,例如,统计上海市各区县的兴趣点分布:
一句话让他帮你进行复杂透视表分析,例如,让它帮你统计上海市各区县各行业大类的兴趣点数量分布
更多数据分析指令和应用,你可以下载后自行探索哦。
这部分内容相对较长,我不仅仅想分享这个工具,更想带你一起探索它的设计理念,探索历程,以及在这个过程中我所经历的思考。
我希望你收获的不仅仅是这个工具,还能够更好的认识和了解更多AI工具和AI产品、以及AI工具可能给我们普通人带来的一些机会。
如果你不感兴趣,只想使用这个工具,可以不看,或者只看以下总结的3点就可以:
1 我一直在探索AI产品的应用,一直希望AI技术可以工具化,大众化、让完全不懂AI技术的人,也能直接使用,就像你使用Excel一样,这个工具就是我的第一个探索性产品;
2 少量数据分析场景,比如说数据条数在2万行左右,且没有数据隐私顾虑,你依然可以直接使用chatGPT,它依然是目前最好的AI产品;
3 chatAnalysis的标志性意义远远大于它本身的价值,代表着后续人机交互的模式可能将被颠覆、原来桌面端的工具、无论大小,即使如ArcGIS、QGIS、AutoCad这种工业级的软件,也有可能使用AI重做一次,这对于普通人,蕴涵着巨大的机会;
通过对话就能完成数据分析,这已经不是一件新鲜事。主流的AI产品都已经实现,比如说ChatGPT,kimi,上传一份数据,AI即可让它帮你完成简单的数据分析和数据处理。
但现行的AI产品在数据分析场景都存在局限性:
1 chatGPT 、kimi这些生成式AI受限于产品形态,只能支持少量数据分析
示例中的这份2023年上海市的兴趣点数据,一共1508610行22列,即使强大如chatGPT4.0,也无法读取;
但另外一份5.4MB,15648行的CSV文件它却可以依然正常读取并完成数据分析,不得不说,背靠微软这棵大树,chatGPT的算力依然是AI界的天花板、未来可期,小数据分析场景,你依然可以直接选择chatGPT来完成,比我做的这个工具强大不知多少倍;
再试下目前国内最强AI kimi,最多只支持上传100M文件,同样是上面的那份5.4MB,15648行的CSV文件,它只能读取4%,即前6259行数据,但显示它作弊了,我让它返回第6259行的数据,它实际返回的却是第560行的数据。
国产的AI产品,目前就不用奢望做数据分析了、毕竟现行的AI产品,都是放在服务器上,如果支持了你的这个操作,那分分钟钟都会被撑爆而宕机。
相比于上面的大而全的AI产品,chatAnalysis的产品定位依然是小工具解决具体场景下的大问题,具体来说:
1 利用AI能力在你的本地完成数据处理和数据分析,可以有效解决以上主流AI产品无法做到的大数据数据处理和数据分析场景下的问题。
理论上只要你的电脑内存足够大,即使亿级数据也能轻松完成,只是等待处理的时间要长一些。
2 同时保留主流AI产品的优点,让即使没有专业编程和数据分析能力的普通人,也能通过对话就能轻松完成数据分析
不得不说,短短1年的时光,AI产品已经悄然走进了我们的生活,变得无处不在,如果你还没有用到我上面提的这两个AI工具,可以参考我之前的一篇文章《ChatGPT-4o可能不是你的贾维斯,但这3个AI神器是真的免费又好用!,并且建议你考虑尝试一下这些新事物。
今天发布的这个ChatAnalysis,其实是我5月25号凌晨3点实现的,刚刚开始的界面是这样的:
但顺利跑通这个模式,并且成功打包成你可以直接在Windows上使用的exe格式,我几乎还是要激动地跳起来了,因为这个小工具,它的标志性意义远大于它本身的意义:
从使用者视角:
1 你只需要学会向AI正确地提问,就能轻松完成类似数据处理数据分析这样复杂的工作流;
2 你还可以通过开发者预置的提示词、拿来即用;
3 结合你的专业,你还可以从一个使用者变成一个创造者、一个开发者。
例如,我只要把ChatAnalysis的程序分享给你,你不需要学会编程,只需要维护一套预置的提示词,就能把自己工作中高频使用的场景模板化、流程化
从产品设计者或开发者视角:
1 它几乎颠覆了传统软件开发模式,过去,设计和开发一个小工具需要编写大量代码,调试各种模块,既费时又费力;
2 通过类似ChatAnalysis的小工具,我只需搭建一个框架,通过新增和优化提示词来实现所有功能,不再需要写大量代码。
例如对于通用的数据分析场景,我只需要通过不断新提示词后,发往能实现所有的数据分析功能。
1 现行的AI产品,无论是ChatGPT,还是国内的Kimi,都是需要将你的数据提交到他们的服务器上,受限于有限的算力,只能读取一部分数据,AI可以帮你生成数据处理的代码,却不能直接帮你生成数据分析结果
2 如果你是银行等金融行业,关键数据,尤其是涉及到用户隐私的数据也是不能直接上传到这些AI服务商的云端,毕竟不管是国内还是国外的服务商,底线都不好评价。
既然现行的AI产品不支持在云端导入超大数据,那我让AI生成的代码直接在本地运行,然后返回结果不就好了吗?
具体步骤如下:
1 向AI发送数据分析的指令
2 将AI返回的代码,进行处理后,直接在你本地电脑上运行,并生成数据分析结果数据
如在开头你看到的,人文帮ChatAnalysis可以轻松处理百万级的数据。
例如我的电脑是MacBook Pro2021版,16G内存,单机可以轻松读取和处理6000万条数据,。
原则上只要你内存足够大,即使亿级数据也能轻松应对。
正如你在开头看到的,你只需要学会基础的Excel操作,然后将你需要进行的常见的数据处理和数据操作,通过对话给AI去执行就可以了。
具体步骤:
1 导入数据,支持Excel和Csv格式
2 向AI发送你的指令
这里我预置了一些指令,你只需要根据你上传的数据,修改列名就可以了
界面上我也预留了一个【参考指令】在线文档的超链接,你可以点击查看我写的更多的参考指令,后续我也会持续更新。
3 导出结果数据
ChatAnalysis目前还是1.0版本,它提供了基础的对话分析功能。但它还有一些不足之处:
数据可视化:
目前ChatAnalysis只能导出表格数据。如果你需要更直观的数据展示,可能需要借助其他工具。不过别担心,我过去开发的两个可视化工具或许能帮上忙。
交互体验:
这个工具是用Python开发的,与现在流行的web页面AI产品相比,在用户体验上还有提升空间。此外,AI处理时间相对较长,通常需要大约10秒才能返回结果。
数据安全:
对于那些在银行、金融行业工作的朋友们,数据安全尤为重要。
目前,ChatAnalysis在分析前需要读取输入数据的前10行,这意味着数据会被上传到云端。如果你的数据包含敏感信息,请谨慎使用。
不过,我已经在着手解决这些问题,并规划了以下这些新功能:
支持数据可视化:
将之前推出的EasyMapV工具与AI技术结合,实现一键式数据处理、分析和可视化,让操作更加便捷。
提升数据安全性:
支持只读取列名元数据信息,而不会读取具体的数据内容,即使你是银行、金融行业从业者也能放心使用。
支持更多AI模型:
计划接入更多国内的大型AI模型,如阿里的通义千问,以及openAI。虽然openAI功能强大,但访问需要特殊工具,这对我们的一些用户来说可能不太方便,所以我们会考虑优化接入国内模型。
支持更多数据源:
目前只支持了Excel、CSV等表格数据,后续昵会支持如Mysql等数据库。
1 基础功能免费使用
基础功能就是指通过对话完成数据处理和数据分析、并导出全部数据的整个流程的功能。
简单来说,你今天下载的这个版本的所有功能都是免费使用的。
2 定制化功能付费
正如我在上面说的,这个工具的标志性意义大于它本身的实际价值,尤其是他可以让你无须任何编程基础,就能从一个使用者变成开发者。
后面我会完善这个工具,支持提示词定制化开发,以抛砖引玉,让大家基于这个理念,不用懂编程开发,也能开发出你专业领域内的数据分析工具。
注意:鉴于工具是免费使用,精力有限,每天咨询我的公众号读者又很多,如果你对于此工具在使用场面有任何的问题,需要先去获取一个人文帮公众号会员后再来提问。