PiFlow发布全新一站式实时HTAP数据库TiDB数据处理组件

Posted 木兰开源社区

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PiFlow发布全新一站式实时HTAP数据库TiDB数据处理组件相关的知识,希望对你有一定的参考价值。

关于PiFlow

PiFlow是一个基于分布式计算框架技术开发的大数据流水线处理与调度系统。该系统将大数据采集、清洗、存储与分析进行抽象和组件化开发,以所见即所得、拖拽配置的方式实现大数据处理流程化配置、运行与智能监控。PiFlow作为木兰开源社区孵化项目,吸引了大批中小企业、院所高校用户,支撑了科技、工业、跨境电商、数据资产管理、医疗健康等领域大量软件工程案例。


01

组件介绍

TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性。同时兼容 mysql 协议和生态,迁移便捷,运维成本极低。TiDB组件分为两个:TidbRead和TidbWrite,通过jdbc连接方式,从TiDB中读取和写入数据。



02

TiDBRead组件使用

1、创建PiFlow 流水线


2、配置流水线

参数说明:

  • driver:TiDB数据库连接驱动

  • url:TiDB数据库ip、端口、database

  • user:TiDB数据库账号

  • password:TiDB数据库密码

  • sql:要执行的sql语句


  • 3、运行流水线

    点击流水线的运行按钮,即可从TiDB数据库中读取数据


    4、监控


    5、查看日志




    03

    TiDBWrite组件使用

    1、创建PiFlow 流水线


    2、配置流水线

    参数说明:

  • driver:TiDB数据库连接驱动

  • url:TiDB数据库ip、端口、database

  • user:TiDB数据库账号

  • password:TiDB数据库密码

  • dbtable:要写入数据的表名


  • 3、运行流水线

    点击流水线的运行按钮,此流水线是从指定的csv路径中读取数据,写入到TiDB数据库中


    4、监控


    5、查看日志



    04

    总结

    本篇简单的介绍了PiFlow中TiDB组件的使用攻略,后续还将介绍其他新增组件的使用攻略。我们欢迎大家加入用户群进行交流,并鼓励开发者开发我们尚未提供的组件,并将其贡献到PiFlow社区。一起推动社区的生态发展。







    https://github.com/cas-bigdatalab/piflow/

    18612673095

    QQ1003489545


    相关阅读

    PiFlow正式进入木兰开源社区孵化

    开源大数据流水线系统 PiFlow V1.1 发布

    PiFlow开源应用系列:编译开发环境搭建攻略




    “木兰开源社区”建立于2019年8月,是国家重点研发计划重点专项“云计算和大数据开源社区生态系统”的核心成果。旨在促进产学研用各方开源领域的交流,推动国家科技创新成果开源,加强企业、科教研单位和行业用户之间的沟通,推动开源成果转化落地,同时为各类开源项目提供中立托管,保证开源项目的持续发展不受第三方影响,通过更加开放的方式来打造和完善开源社区生态。

    TiDB Cloud 上线 Google Cloud Marketplace,以全新一栈式实时 HTAP 数据库赋能全球开发者

    近日,TiDB Cloud 正式上线 Google Cloud Marketplace,现在,Google Cloud 全球用户能够通过 Google Cloud Marketplace 搜索、发现和订阅 TiDB Cloud 服务,将为全球用户带来全新的一栈式实时 HTAP 数据库体验。

    TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性。同时兼容 MySQL 协议和生态,迁移便捷,运维成本极低。

    TiDB Cloud 是 PingCAP 基于 TiDB 推出的全托管 DBaaS 服务,不仅能够最大化利用云的优势,便于用户按需分配云资源;同时大大降低了用户的使用门槛,屏蔽了 TiDB 数据库部署、运维和性能调优的复杂性,即使没有经过专业培训的技术人员也可以快速创建和管理 TiDB 实例,使用户可以专注于自身业务应用程序的开发,降低总体拥有成本。

    TiDB 是一款优秀的 HTAP 数据库,TiDB 除了优异的交易处理能力,也具备了良好的分析能力。描述 TiDB 实现原理的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020 ,是业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。TiDB 的 HTAP 能力也已经在小红书、中通快递等企业的实践中得到了印证。

    Google Cloud Marketplace 能够将 TiDB Cloud 和其它的 Google Cloud 服务统一部署和管理,无需预付款或签约,根据使用量按需支付即可,降低系统的复杂度的同时,实现成本节约。

    PingCAP 高级副总裁申砾表示:“TiDB Cloud 通过此次与 Google Cloud 的合作,将有机会为更多的全球用户带来全新的数据体验,从容面对海量数据的同时,也能在云端体验到海量数据实时分析带来的便捷。”

    以上是关于PiFlow发布全新一站式实时HTAP数据库TiDB数据处理组件的主要内容,如果未能解决你的问题,请参考以下文章

    驭数有道,天翼云数据库 TeleDB 全新升级

    数据分析新动力——国内首款开源一体化实时HTAP数据库石原子StoneDB发布

    大数据架构:HTAP与Hadoop的定位与竞合

    TiDB ✖️ 智慧芽 | HTAP 为实时数据服务插上翅膀

    zabbix+tidb:可实现水平扩展

    400倍加速, PolarDB HTAP实时数据分析技术解密