PiFlow发布全新一站式实时HTAP数据库TiDB数据处理组件

Posted 2022-03-30 木兰开源社区

关于PiFlow

PiFlow是一个基于分布式计算框架技术开发的大数据流水线处理与调度系统。该系统将大数据采集、清洗、存储与分析进行抽象和组件化开发，以所见即所得、拖拽配置的方式实现大数据处理流程化配置、运行与智能监控。PiFlow作为木兰开源社区孵化项目，吸引了大批中小企业、院所高校用户，支撑了科技、工业、跨境电商、数据资产管理、医疗健康等领域大量软件工程案例。

01

组件介绍

TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品，实现了一键水平伸缩，强一致性的多副本数据安全，分布式事务，实时 OLAP 等重要特性。同时兼容 mysql 协议和生态，迁移便捷，运维成本极低。TiDB组件分为两个：TidbRead和TidbWrite，通过jdbc连接方式，从TiDB中读取和写入数据。

02

TiDBRead组件使用

1、创建PiFlow 流水线

2、配置流水线

参数说明：

driver：TiDB数据库连接驱动

url：TiDB数据库ip、端口、database

user：TiDB数据库账号

password：TiDB数据库密码

sql：要执行的sql语句

3、运行流水线

点击流水线的运行按钮，即可从TiDB数据库中读取数据

4、监控

5、查看日志

03

TiDBWrite组件使用

1、创建PiFlow 流水线

2、配置流水线

参数说明：

driver：TiDB数据库连接驱动

url：TiDB数据库ip、端口、database

user：TiDB数据库账号

password：TiDB数据库密码

dbtable：要写入数据的表名

3、运行流水线

点击流水线的运行按钮，此流水线是从指定的csv路径中读取数据，写入到TiDB数据库中

4、监控

5、查看日志

04

总结

本篇简单的介绍了PiFlow中TiDB组件的使用攻略，后续还将介绍其他新增组件的使用攻略。我们欢迎大家加入用户群进行交流，并鼓励开发者开发我们尚未提供的组件，并将其贡献到PiFlow社区。一起推动社区的生态发展。

联系方式

代码地址：https://github.com/cas-bigdatalab/piflow/

微信：18612673095

QQ群：1003489545

微信群二维码：

相关阅读

PiFlow正式进入木兰开源社区孵化

开源大数据流水线系统 PiFlow V1.1 发布

PiFlow开源应用系列：编译开发环境搭建攻略

---

“木兰开源社区”建立于2019年8月，是国家重点研发计划重点专项“云计算和大数据开源社区生态系统”的核心成果。旨在促进产学研用各方开源领域的交流，推动国家科技创新成果开源，加强企业、科教研单位和行业用户之间的沟通，推动开源成果转化落地，同时为各类开源项目提供中立托管，保证开源项目的持续发展不受第三方影响，通过更加开放的方式来打造和完善开源社区生态。

TiDB Cloud 上线 Google Cloud Marketplace，以全新一栈式实时 HTAP 数据库赋能全球开发者

近日，TiDB Cloud 正式上线 Google Cloud Marketplace，现在，Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务，将为全球用户带来全新的一栈式实时 HTAP 数据库体验。

TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品，实现了一键水平伸缩，强一致性的多副本数据安全，分布式事务，实时 OLAP 等重要特性。同时兼容 MySQL 协议和生态，迁移便捷，运维成本极低。

TiDB Cloud 是 PingCAP 基于 TiDB 推出的全托管 DBaaS 服务，不仅能够最大化利用云的优势，便于用户按需分配云资源；同时大大降低了用户的使用门槛，屏蔽了 TiDB 数据库部署、运维和性能调优的复杂性，即使没有经过专业培训的技术人员也可以快速创建和管理 TiDB 实例，使用户可以专注于自身业务应用程序的开发，降低总体拥有成本。

TiDB 是一款优秀的 HTAP 数据库，TiDB 除了优异的交易处理能力，也具备了良好的分析能力。描述 TiDB 实现原理的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020 ，是业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。TiDB 的 HTAP 能力也已经在小红书、中通快递等企业的实践中得到了印证。

Google Cloud Marketplace 能够将 TiDB Cloud 和其它的 Google Cloud 服务统一部署和管理，无需预付款或签约，根据使用量按需支付即可，降低系统的复杂度的同时，实现成本节约。

PingCAP 高级副总裁申砾表示：“TiDB Cloud 通过此次与 Google Cloud 的合作，将有机会为更多的全球用户带来全新的数据体验，从容面对海量数据的同时，也能在云端体验到海量数据实时分析带来的便捷。”