如何向 hadoop 导入数据

Posted 2023-04-04

参考技术A

如何向 hadoop 导入数据

1.2 使用Hadoop shell命令导入和导出数据到HDFS
实验准备
实例需要用到的数据-weblog_entries.txt
在namenode创建2个文件夹用来存放实验用的数据
mkdir /home/data 1
mkdir /home/data_download1
将weblog_entries.txt上传到namenode里的/home/data文件夹（我使用SecureFXPortable.exe 工具）
注：以下命令都是在namenode节点运行的
实验过程
1.在HDFS中创建一个新的文件夹，用于保存weblog_entries.txt
hadoop fs -mkdir /data/weblogs1
2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下
cd /home/data1
hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs1
3.列出HDFS上weblog_entries.txt文件的信息：
hadoop fs –ls /data/weblogs/weblog_entries.txt 1
4.将HDFS上的weblog_entries.txt文件复制到本地系统的当前文件夹下
cd /home/data_download1
hadoop fs -copyToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt 1
最后用 ls 命令检验下时候将weblog_entries.txt 下载到本地

如何向oracle 10g数据库导入数据

Oracle 11g数据导入到10g
一、在11g服务器上，使用expdp命令备份数据
11g 导出语句：EXPDP USERID=\'facial/facial@orcl as sysdba\' schemas=facialdirectory=DATA_PUMP_DIR dumpfile=test.dmp logfile=test.log version=10.2.0.1.0
二、在10g服务器上，使用impdp命令恢复数据
准备工作：1.建库2.建表空间3.建用户并授权4.将test.dmp拷贝到10g的dpdump目录下
--创建表空间
create tablespace TS_Facial datafile \'E:\\ORACLE\\PRODUCT\\10.2.0\\ORADATA\\ORCL\\Facial.DBF\' size 500M autoextend on next 50M;
--创建用户
create user Facial identified by Facial default tablespace TS_Facial;
--授权给用户
grant connect,resource,dba to Facial;
test.dmp 和 test.log 放在E:\\oracle\\product\\10.2.0\\admin\\orcl\\dpdump目录下
10g 导入语句：IMPDP USERID=\'facial/facial@orcl as sysdba\' schemas=facialdirectory=DATA_PUMP_DIR dumpfile=test.dmp logfile=test.log version=10.2.0.1.0

如何向mongodb分片集群导入数据

下载mongoDB（mongoDB下载地址），笔者使用的是mongoDB 2.0.4的Linux 64-bit版本。
解压：tar xzf mongo.tgz
默认情况下，mongoDB将数据存储在/data/db目录下，但它不会自动创建该目录，所以我们需要手动创建它：
$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db
也可以使用--dbpath参数来指定别的数据库目录。
如果只是想在单机上测试一下mongoDB的话，非常简单，首先启动MongoDB server，
$ ./mongodb-xxxxxxx/bin/mongod
在另外一个终端，连接到我们启动的server：
$ ./mongodb-xxxxxxx/bin/mongo
> db.foo.save( a : 1 )
> db.foo.find()

如何向clementine12.0中导入数据库数据

在resources找到database节点连上去就可以，之后按照你的用户名和密码填好就可以，但是在之前要配置数据库。

如何向sql server2008中导入数据库

打开SQL Server Management Studio，在对象资源管理器中，展开“SQL Server 实例”→“数据库”→“MySchool”节点，单击鼠标右键，选择“任务”→“导出数据”命令。出现导入和导出向导的欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框，如图
在“选择数据源”对话框中设置如下选项：
数据源：SQL Native Client 10.0。
服务器名称：DC。
身份验证：Windows身份验证。
数据库：MySchool。
单击“下一步”按钮，出现“选择目标”对话框，设置如下选项（如图所示）：
目标：平面文件目标。
文件名：C:\\student.txt。
格式：带分隔符。
单击“下一步”按钮，出现“指定表复制或查询”对话框，如图所示。
在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮，出现“配置平面文件目标”对话框，如图所示。
设置源表或源视图为MySchool.dbo.student，单击“下一步”按钮。
在“保存并执行包”对话框中选中“立即执行”复选框，如图所示，然后单击“下一步”按钮。
在如图所示的对话框中单击“完成”按钮。
如图所示，当执行完后，单击“关闭”按钮。
8
在Windows资源管理器中打开C:\\student.txt文件，验证导出的结果。

如何导入数据

工具/原料
sql2008
方法/步骤
登录sql2008数据库，其实其他版本的数据库也是一样的原理
使用windows账户登录，登录成功之后打开资源管理器窗口
在数据库上单击右键，选择【新建数据库】
在弹出的新建数据库窗口中，输入数据库名字【test】然后点击确定
数据库【test】新建完成，在数据库上单击右键，选择【任务】【导入数据】
弹出导入数据向导，选择下一步
数据源选择【Excel】,文件路径选择我们需要导入的文件
目标数据库选择我们刚才新建的【test】数据库，其他保存默认不变，一直单击【下一步】
勾选我们需要导入的Excel表，如图所示，然后单击下一步，完成
开始导入数据，如图所示，成功导入，点击【关闭】
这样我们就导入了Excel中的数据

如何从linux向dbeaver导入数据

1、右击新建连接 2、选择Oracle 3、将要填的数据都填好了，下拉框选sid，点测试，通过就ok了 4、狂点下一步，最后完成。 注：无需安装oracle客户端。只有这个dbeaver就可以，只是需要个驱动包这个不用说。不会加驱动可以追问

如何从EXCEL向MATLAB导入数据

首先把excel文件放在work文件夹里，假设文件名为a.xls。
然后在matlab命令窗口输入a=xlsread(\'a.xls\');
此时，a矩阵即为exel里对应的数据

使用Matlab中的Excel Link就可以了。
如果使用Excel 2003版本，操作如下：
1 打开Excel。
2 在菜单栏中选择工具→加载项→浏览。
3 在Matlab的安装目录下打开toolbox\\exlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“Excel
Link”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。
如果使用Excel 2007版本，操作如下：
1 打开Excel。
2 点击左上的office按钮→Excel选项→转到→加载项→浏览。
3 在Matlab的安装目录下打开toolbox\\exlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“ExcelLink”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。

如何将数据从PostgreSQL导入Hadoop？

我只是Hadoop的初学者，我的一所大学要求我帮助将一些PostgreSQL表迁移到Hadoop。由于我对PostgreSQL没有太多经验（虽然我知道数据库），但我不确定这种迁移的最佳方式是什么。我的一个想法是将表导出为gson数据，然后从Hadoop处理它们，如下例所示：http://www.codeproject.com/Articles/757934/Apache-Hadoop-for-Windows-Platform。有没有更好的方法将数据（表和数据库）从PostgreSQL导入Hadoop？

答案

Sqoop（http://sqoop.apache.org/）是为此精确制作的工具。浏览文档，sqoop提供了传输数据的最佳和最简单的方法。