比如说我们现在有一万条数据是字符类型和有一万条是整形,Hadoop有没有办法自

Posted 2023-04-02

参考技术A Hadoop是没有办法的。
Hadoop起源于ApacheNutch项目，始于2002年，是ApacheLucene的子项目之一。

大数据分析50万条拼多多商品数据， 得出了这样的结论

来源：知乎

缘起

我在杭州有位朋友，提到有家做社交的电商很火，叫拼多多，我没有在意，直到有一天，我居然在电视上看到了它的广告，广告画面活蹦乱跳，余音绕梁，我惊呆了，想知道这是何方YL，不，何方神圣，网上搜了下，流传着各种版本，比如月GMV超过400亿啦，已经威胁到京东淘宝啦，等。

辣么，怎么样才能知道拼多多的这些信息呢，比如，拼多多到底有多少在售商品，卖了多少钱？不单单是拼多多的投资人，也许淘宝京东，也想知道。

我有个简单的想法，不一定对，就是爬下拼多多的商品条目，这些条目至少有分类，价格，已出售数量等信息，做一个简单的加法，是不是就可以得到GMV了呢，当然，缺点也很明显，就是由于第一次获取数据，只能得到这个时间点的切面信息，其他的信息， 比如每日每周每月的数据，要持续的获取才能得到。

当然，我们先走第一步，开个头。现在，我们就从一个切面来窥探下。

我们获取了多少商品条目？

49.78万，大约50万条。这些数据全不全，肯定不全，但是基本上覆盖了拼多多的绝大部分在售商品，再退一步，数据的量级应该是没错的（数据获取时间：2018-04-15）。

这些商品总共卖出了多少钱？

50万条商品，每件商品有不同的SKU，比如某个店家的芒果，下面有4个SKU，5斤的小的拼单价20元，5斤的大的30元， 8斤的小的40元，8斤的大的50元， 分别卖出了400份，300份，200份，100份，那么这个商品总销售额就是400*20 + 300*30+ 200*40+ 100*50 = 30000元。

如此，我们就可以计算出总计50万商品的销售额。

288亿。

猕猴桃君对电商是个外行，一般商品上面的“已卖出9527件”，问下各位电商业界人士，这个是当月的销售数量吗？如果是的话，那288亿就是月GMV，考虑到本月只过去一半，辣么，传言的“拼多多月GMV超过400亿”，或许，空穴不来风。

288亿是一个什么概念呢，我们搜索了京东财报的公开新闻：

京东2017年GMV接近1.3万亿 净利润50亿元

可以估计去年京东的月均GMV大概是1100亿，电商的GMV同比可达50%+增长，胡乱估计京东2018月GMV大概1500亿，辣么，拼多多的GMV大约为京东的三分之一。

这个， 还是有点吃惊的啊。

销售额前十的品类是哪些？

了解一个电商平台销售额前几位的品类，有助于判断它的竞争优势，比如电器数码等产品之于京东，服饰箱包之于淘宝，图书音像之于当当。

拼多多的主打品类是什么呢？

电商喜欢将商品分为三级品类，比如食品-水果-猕猴桃。 以下我们列出一级类目和三级类目排名前十的数据。

全部一级品类成交额：

一级类目销售额前10的品类：

前三名分别是食品，母婴，女装。成交额分别是40亿，31亿，27亿。厉害了。

来看看前三名的销售额占所有36个一级类目的成交额比例，足足三分之一强。

三级类目销售额前10的品类：

第一名是抽纸，卖了5个多亿！

猕猴桃君有点好奇，想知道是什么牌子的抽纸卖了这么多呢？同时也为了验证数据的准确性，猕猴桃君从数据库中找到了（历史）销量最高的抽纸，销量508万。根据名字，手动在拼多多APP找到了这款产品，它的名字也许你没有听过，是这样的：

嗯，数据是正确的（这2天又多了2万，手机传过来的，这图怎么这么大）。作为对比， 看了京东销量最高的单品，维达是320多万，和拼多多排名第二的，一个名叫“初采”的抽纸销量（343万）差不多。

销售量前二十的商品是哪些？

商品的销售量代表了人气，当然，也许一个商品有人会买多份，无论如何，我们可以从中看出拼多多最多客户购买的产品是什么：

第一名还是抽纸，第二名不可描述，第三名伞（希望大家能够点击查看原图，否则压缩的看不清了啊）。后面还有几个也是抽纸，嗯，我就不懂了，为什么这么多抽纸，拼多多主要就是卖纸的？

销量前二十的商品，销售量都在200万以上。给我的感觉，有点类似于超市，更确切的说，有点像杂货铺，或者，类似于小时候村头的小卖部，以实用的生活用品为主，实在，方便，实惠。

商品一般都卖什么价格？什么价格区间的商品销量最好？

那么下一个，你可能要问了，约50万的商品，大部分在什么价格区间呢，价格和销量有什么关系？

我们看看下面的商品数量-价格区间：

从商品数量来说， 超过一半（约57%）的商品价格介于0~50之间，大部分（约75%）的商品价格介于0~100元。

从统计数据可以发现，96.5%的商品价格介于1元到1000元之间，我们剔除这些商品（让图片没有那么尖锐难看），做出了如下价格-销量的点图：

（图上传后怎么这么小）有碘意思，横轴代表价格（单位：元），纵轴代表销量（单位：千）点越高，说明销量越大。还是很尖锐，看起来价格超过200就很平了啊，再看一个价格介于1~200的点图：

请点击查看原图。我们从图中可以看到，销量过100万的商品，价格低于50。除了有2个零星的点，价格在100左右，销量也在100万上下。

需要说明的是，销量随着价格锐减，这是很正常的，京东淘宝做个点图估计也差不多。

再细化一点可以吗

可以的。食品是销售额第一的品类，衣食住行，不意外，食品种类繁多，辣么，我们可能要问，从成交总额来说，排名前十的三级食品品类是哪些呢？分别占比多少？

第一名坚果炒货（成交额5亿），第二名白酒（2.8亿），第三名方便速食（2.5亿），前十名的三级类目成交额都过亿元。

坚果炒货销量前10的商品：

憨豆熊……厉害了。第二名是康梦，想起小时候吃过一款零食，康辉，不知道现在还在不在。

白酒呢，很好奇。

五粮液茅台？不过仔细一看不是茅台，是茅台镇的酒，所以。拼多多上面白酒卖的这么多，还是有点意外的。

什么水果在拼多多最受欢迎？

猕猴桃君注意到，水果生鲜是作为一个单独的一类品类存在的，生鲜水果是第二品类，辣么，三级目录中，哪一种水果最受欢迎呢？

芒果第一！请看图（芒果。那就给个黄色吧），第二名是苹果，第三名是奇异果（就是猕猴桃吧）

从销售量来说，芒果确实也是当之无愧的第一名，关键词“越南进口”非常显眼。如此看来，拼多多为跨境贸易也做了不少贡献。

其他还有什么

让我想想。

估值分析

这个，不敢妄自猜测啊。待续。

多余的话

在这个万众创新，消费升级的年代，拼多多这样的社交电商的出现，在满足普通人民物美价廉需求方面，大获成功，让我有种错觉，难道这代表了我们的社会反而陷入了消费降级的陷阱吗？

因为拼多多的这些数据， 我想起几年前读过的一位名为三浦展的作者写的一本书：《下流社会》，这里的下流社会并不是贬义，只是探讨日本社会的社会消费，阶层团块。

“下流社会”这个术语一经在日本出现，立即引爆讨论。因为社会“向下流动”的趋势正在世界悄然成形，日美欧曾引以为傲的中产阶层正在消失，出现“上流”与“下流”的两极分化。年轻一代源源不断加入的“下流社会”，其最大的特征并不仅仅是低收入，更在于沟通能力、生活能力、工作意愿、学习意愿、消费意愿等的全面下降，也可以说是“对全盘人生热情低下”。社会下沉的拉力愈来愈大，当全球社会纷纷向下流动，中国，能预防吗？

但是，拼多多的兴起也许是另外的情况，因为中国太大了，也许真的是消费升级，只是不是一二线城市居民的消费升级呢？

拼多多销量最好的单品是什么？抽纸。

这让我想起，小时候在农村，去洗手间方便，额说错了，是去茅房如厕，那时候哪里有什么清风维达和初采啊，就是用过的书本练习册什么的。现在大家生活水平提高了，开始用抽纸卷筒纸，看，这，算不算消费升级呢？

— THE  END —

金融圈实用课程推荐-行业研究实战

券商投行、PE、VC、公募基金等

面试就有行业分析的题

大部分金融机构笔试也有行业研究的环节

即使对于在校生，很多提供实习的商业比赛

如果会行业研究方法，胜算也会变得非常大

我们联合华尔街学堂

邀请了顶级基金公司一线资深研究总监

从行业研究方法，行研报告撰写

公司研究，一二级市场投研等

到27个行业的研究方法解密

共涉及90多个子行业分析

本次课程通过此二维码报名

报名后添加课程助教加入课程群

↓↓↓戳此码报名↓↓↓

↑↑↑戳此码报名↑↑↑

详情可咨询 助教微信【wangxy9510】

（助教会在24小时内回复，请耐心等待）

如未能添加上助教

我们会主动联系您

详细课程情况也也有看此篇文章