Maxcompute批量分区删除

Posted 2023-04-04

参考技术A

ps : Maxcompute数据仓库建设的分享。

大致介绍下Maxcompute, Maxcompute是阿里的一个大数据工具，基于Maxcompute阿里搭建了一个Datawork的数据平台。可以很“方便”的从各种数据源导入数据，做数据分析、机器学习等。
“方便"之所以加个引号，是因为某些方面的确很方便，当然业务实在复杂了，很多时候也存在用的很难受的地方。
更多介绍去阿里官网了解吧。
回到正题，这里主要分享下批量删除分区的一个小技巧。

介绍下分区的概念，Table是一个数据表，也是一个分区的数组。分区把Table的数据分成了一个个的区块。
Maxcompute是个不支持某条数据修改删除的数据仓库。而分区是可以删除和新增的。引入分区，就可以做到在小颗粒度上做到修改和删除的功能。

首先描述下为何会有大量的分区需要删除的场景。

分区数量多了之后，文件将会变多。一个是Maxcompute对于表的分区是一个上限数量，另一个是分区数量多了之后计算将会很慢。
这些源数据将会经过清洗产生对应的中间表或者结果集，供BI或者数据分析使用。而源数据为了方便管理，可以通过sql聚合成一个大分区来存放。而原来的很多分区就可以删除，以便腾出空间。

一般正常删除分区是通过sql来删除。

这种方式只能一次删除一个分区，当分区有上万个的时候就不适用了。
这种情况可以通过pyodps来轻松的批量删除分区。
下面是一个删除datahub归档分区的实例

可以在dataworks里面新建个pyodps的节点来每天运行，一劳永逸。
如果是放在python本地运行的话建议使用ipython。具体还需要配置下odps的环境。可以参考下 官方文档 。

Dataworks使用中分库分表很多，怎么配置大量的同步任务。有经验的可以一起研究下。

树莓派装置批量制作

操作系统：WIN10

主要工具：DiskGenius v5.2.0.884 x64（具有：硬盘分区、数据恢复、已删除文件恢复、分区复制、分区备份、硬盘复制等功能）

SD卡：闪迪32G class10 高速Micro SD卡（TF卡），一般用在行车记录仪上

-------------------------------------------------------------------------------------------------------------------------------------

 

完成一个树莓派装置的安装调试后，下一步需要考虑的是如何进行批量制作。

SD卡相当于树莓派的硬盘，所有的系统、程序、文件等等都在SD卡上，因此只要将这个SD卡各个扇区完整地拷贝到另外一张新的SD

卡上，这两个SD卡的功能将是完全一样的，将克隆的SD卡插到树莓派上之后就可以直接使用，这样就不需要手动去写入系统、安装各

种应用软件和服务了。

 

具体步骤如下：

1、 手动完成一个树莓派装置的安装调试（不仅是操作系统的安装，还包括所有需要的应用软件、服务等），所有功能测试通过；

2、 取出树莓派中的SD卡（模板SD卡）；

3、 模板SD卡用读卡器插到电脑上；

4、 新SD卡（和模板SD卡相同规格）也用读卡器插到电脑上；

5、 用DiskGenius进行磁盘拷贝；

6、 拷贝完成后安全弹出新SD卡（克隆SD卡）；

7、 将新SD卡插到树莓派上，测试所有功能，如果都正常，后面就可以开始正式批量制作了，重复步骤4-6。

 

下面介绍一下3-6步的具体操作：

第3步：模板SD卡用读卡器插到电脑上

DiskGenius上会显示模板SD卡的信息，点击界面左侧各个分区，可以查看各分区的信息。

 

 

第4步：新SD卡（和模板SD卡相同规格）也用读卡器插到电脑上

下图显示的是一个新的SD卡，当然也可以用使用过的卡，只是要能区分出模板SD卡和克隆SD卡就可以了，之所以要分成3、4两个步

骤就是为了便于分别两个SD卡。

 

 

第5步：用DiskGenius进行磁盘拷贝

5.1 选择“工具->克隆磁盘”

 

 

5.2 选择源磁盘（即模板SD卡）

通过之前第3、4步已经区分哪个是模板SD卡了，选中该磁盘后点击“确定”。

 

 

5.3 选择目标磁盘（即克隆SD卡）

选中该磁盘后点击“确定”。

 

 

5.4 克隆磁盘

共有3种克隆模式可选，区别如下：

 

 

 

默认的模式是“按文件复制（可消除碎片）”。

个人推荐使用“按文件系统结构原样复制”模式，复制完成后所有功能都测试正常，复制过程耗时约3分钟。

“复制所有扇区”模式耗时约1个小时，没什么必要。

 

点击“开始”后会出现这个警告，点击“确定”。

 

 

开始后可以看到克隆的进度信息。

 

 

完成后点击“完成”。

 

 

选择克隆SD卡的磁盘，可以看到磁盘信息与模板SD卡已经完全一样了。

 

 

第6步：拷贝完成后安全弹出新SD卡（克隆SD卡）

选中克隆SD卡，右键，选择“安全弹出磁盘”。

 

 

<end>