Excel催化剂开源第38波-json字符串转多个表格结构

Posted 2022-05-03 excelcuihuaji

作为开发者来说，面对json字符一点不陌生，但对于普通用户来说，更合适的是数据表结构的数据，最好数据已经躺在Excel表格内，不用到处导入导出操作。所以开发者和用户之间是有不同的数据使用思维和需求的。
此篇给大家带来一些新的思路，怎样可以让用户自主地参与到获取数据过程中来，减少开发工作量的同时却收获了用户满意度。

IT领域收智商税的时代终将会过去

作为一个非IT科班出身的笔者，对IT领域的了解也不深，姑且谈下自己的一些小见解。

普通人对IT的出品各种系统和各种软件，可畏爱恨交加。好的系统或软件，带来许多重复性工作的效率提升，不好的系统或软件，一天到晚被虐着做一些无聊的数据录入和忍受各种的不完善。

从老板的角度，IT系统、软件这些，也真的很容易被交智商税，售前吹得天花乱坠，只要给钱，钱到位，什么功能都可以做，上了系统，整个公司就天下无敌了。

当然收费也是天价一般了，大部分非IT人员都感知不到成本有多高，为何可以卖这么贵。

所以从用户被教育的角度来看，收高智商税的时代，终将会过去，就如现在零售市场那样，大家最后都会趟向理性消费，货比三家，只买合适的性价比高的东西，包括IT产品。

怎样可以做一个性价比高的产品？

好像扯远了，回到此篇的json转换功能，笔者理解是：让用户的参与感更多地加进来，不要把用户培养成只会傻瓜式的操作，最大限度地调动用户的自身水平，特别是OFFICE办公软件技能这些能力，加到自己的软件产品使用中来。

为用户造一款最傻瓜式的产品，要考虑的东西肯定多，成本必要增加，产品通用性也大打折扣。

当用户的能力被调动起来后，最终就可以实现类似本篇的功能那样，丢给用户一个json字符串，用户自己去解释它，选择自己要的数据内容，无需过多的开发工作量辅助。

json字符到用户想看的数据的距离

json字符，可以存储整个数据模型dataset，多个表混在其中，有一对一、一对多、多对多的关系结构，必要普通用户难以驾驭。

所以从用户的角度出发，肯定需要界面化操作，引导用户自己选择要哪个表的数据（这个表数据要完全的反规范化，将所有其他一端属性表信息都带进去，方便用户可以马上使用，无需重新手动复杂关联），然后再让用户自己选择需要返回的数据字段，实现一个全动态化、解藕的工具化输出。

核心实现过程和代码

只给大家一段主方法的代码，可以作下参考，具体思路如下：

  private void ConvertJsonToDataTable()
        
            var jsonInfo = JsonInfos.FirstOrDefault();

            JObject jObject = JObject.Parse(jsonInfo.JsonString);

            ////拿到要遍历的数组路径，需要有【数字】的结构，query获取到最后一是【数字】的结构
            var paths = jObject.Descendants().Select(s => s.Path).Distinct().ToArray();
            var query = paths.Where(s => Regex.IsMatch(s, @"\[\d+\]"))
                                .Select(t => Regex.Match(t, @".+(?=\[\d+\])").Value)
                                .Distinct().ToArray();

            //再将含数字的数组path去掉数字后分组取第1条，为了减少因多层数组嵌套而引起多条记录，产生多个表的情况。
            var arrPaths = query.GroupBy(s => Regex.Replace(s, @"\[\d+\]", "")).Select(t => t.FirstOrDefault()).ToArray();
            //如果没有数组出现时，就遍历所有后代
            int tableIndex = 0;
            if (arrPaths.Length == 0)
            
                var mainFieldPathList = paths.Select(s => jObject.SelectToken(s)).Where(t => t is JValue).Select(t => t.Parent.Path).ToList();
                var mainFieldList = mainFieldPathList.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct().ToList();//将字段中的【*】或【0】等都替换为空

                var detailFieldList = new List<string>();
                DataTable dataTable = GetDataTableStructure(mainFieldPathList, detailFieldList);

                AddMainFieldDataToDataRow(jObject, mainFieldPathList, ref dataTable, jsonInfo.AddinalFieldData);

                outputTableInfos.Add(
                                    new OutputTableInfo()
                                    
                                        HasArrayDetail = false,
                                        ArrJsonPath = "唯一表",
                                        MainFieldPathList = mainFieldPathList,
                                        MainFieldList = mainFieldPathList,
                                        DetailFieldList = detailFieldList,
                                        TableIndex = tableIndex,
                                        OutputTable = dataTable
                                    
                                );
            
            else
            

                foreach (var arrPath in arrPaths)
                

                    List<string> mainFieldPathList = new List<string>();

                    List<string> mainFieldList = new List<string>();
                    List<string> detailFieldList = new List<string>();

                    var arrItemJoken = jObject.SelectToken(arrPath);
                    //获得它的所有子项，不包含后面还有数组的情况，并且把那些不是叶子级的path也过滤了,
                    //replace是只替换最后一个数字编号，之前的属于其父级的数组不替换,但存放的表的字段时要替换

                    var arrPathEscape = arrPath.Replace("[", @"\[").Replace("]", @"\]").Replace(".", @"\.");
                    var detailDecendantsAll = arrItemJoken.Parent.Descendants().Select(s => s.Path)
                        .Where(r => !Regex.IsMatch(r, arrPathEscape + @"\[\d+\].+\[\d+\]"))
                        .Where(t => Regex.IsMatch(t, arrPathEscape + @"\[\d+\].+")).Distinct().ToList();

                    var detailDecendantsDistinct = detailDecendantsAll.Select(n => Regex.Replace(n, @"(?<=.+)\[\d+\]", "[*]"))
                        .Distinct()
                        .ToList();

                    detailFieldList.AddRange(detailDecendantsDistinct.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct());//将字段中的【*】或【0】等都替换为空

                    mainFieldPathList = GetMainFieldPathList(jObject, arrItemJoken);
                    mainFieldList.AddRange(mainFieldPathList.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct());//将字段中的【*】或【0】等都替换为空

                    DataTable dataTable = GetDataTableStructure(mainFieldList, detailFieldList);

                    AddDetailDataToDataRow(jObject, mainFieldPathList, detailDecendantsAll, detailDecendantsDistinct.Count, ref dataTable, jsonInfo.AddinalFieldData);
                    outputTableInfos.Add(
                                        new OutputTableInfo()
                                        
                                            HasArrayDetail = true,
                                            MainFieldList = mainFieldPathList,
                                            DetailFieldList = detailFieldList,
                                            ArrJsonPath = arrPath,
                                            TableIndex = tableIndex,
                                            OutputTable = dataTable
                                        );
                    tableIndex++;
                //foreach (var arrPath in arrPaths)
            //if (arrPaths.Length == 0)
        

一、因着dataset多表结构的存在，每个数组节点，需要做一个表来存储数据，避免多对多关系的数据返回，引起数据错误、重复和冗余。

二、对Array节点下的子记录进行解释，如子节点下仍然有Array结构，这部分Array结构就不再解释，同样防止多对多的数据结构产生。

若需要解释其下面的子Array时，它就是一张更明细化的表，相对于其父祖宗有Array出现的表来说。

三、对本Array以上的祖宗所对应的object结果及其下面的属性字段进行解释，这些部分将构成了对本Array节点下的详细信息描述的一端数据字段。

四、对本Array的同级兄弟节点进行解释，只

五、经历以上对本Array节点、祖宗节点、同级兄弟节点处理完后，需要处理自己的平行节点数据，使用正则进行平等节点的信息都解释。

最终效果

将一串json的dataset结构经过以上解释后，将出现多个表的结构，都是一对多的关系，不存在多对多关系，如下表如示，简单用界面封装下，就可以让用户更轻松自如地操作。

技术交流QQ群

QQ群名：Excel催化剂开源讨论群， QQ群号：788145319

关于Excel催化剂

Excel催化剂先是一微信公众号的名称，后来顺其名称，正式推出了Excel插件，插件将持续性地更新，更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用！

Excel催化剂插件使用最新的布署技术，实现一次安装，日后所有更新自动更新完成，无需重复关注更新动态，手动下载安装包重新安装，只需一次安装即可随时保持最新版本！

Excel催化剂插件下载链接：https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q

取名催化剂，因Excel本身的强大，并非所有人能够立马享受到，大部分人还是在被Excel软件所虐的阶段，就是头脑里很清晰想达到的效果，而且高手们也已经实现出来，就是自己怎么弄都弄不出来，或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据，耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介，让广大的Excel用户们可以瞬间点燃Excel的爆点，无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑，最终走向了从入门到放弃的道路。

最后Excel功能强大，其实还需树立一个观点，不是所有事情都要交给Excel去完成，也不是所有事情Excel都是十分胜任的，外面的世界仍然是一个广阔的世界，Excel只是其中一枚耀眼的明星，还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术，让Excel能够发挥更强大的爆发！

关于Excel催化剂作者

姓名：李伟坚，从事数据分析工作多年（BI方向），一名同样在路上的学习者。
服务过行业：零售特别是鞋服类的零售行业，电商（淘宝、天猫、京东、唯品会）

技术路线从一名普通用户，通过Excel软件的学习，从此走向数据世界，非科班IT专业人士。
历经重重难关，终于在数据的道路上达到技术平原期，学习众多的知识不再太吃力，同时也形成了自己的一套数据解决方案（数据采集、数据加工清洗、数据多维建模、数据报表展示等）。

擅长技术领域：Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。

2018年开始职业生涯作了重大调整，从原来的正职工作，转为自由职业者，暂无固定收入，暂对前面道路不太明朗，苦重新回到正职工作，对Excel催化剂的运营和开发必定受到很大的影响（正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外，工作外的时间也十分有限，因已而立之年，家庭责任重大）。

和广大拥护者一同期盼：Excel催化剂一直能运行下去，我所惠及的群体们能够给予支持（多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐，让我的技术可以在贵司发挥价值，实现双赢（初步设想可以数据顾问的方式或一些小型项目开发的方式合作）。