17认证网原文发表在CSDN，https://blog.csdn.net/weixin_46668148/article/details/122160309
搬运过来
1. 工具准备
mysqldump可以使用mysql自带的mysqldump。datax需要下载并编译。编译datax需要maven，使用maven需要java环境，所以。。。
1.1 安装openjdk
yum install java-1.8.0-openjdk -y
yum install java-1.8.0-openjdk-devel.x86_64 -y
1.2 部署maven
从Apache官网下载：https://maven.apache.org/download.cgi
wget https://dlcdn.apache.org/maven/maven-3/3.8.4/binaries/apache-maven-3.8.4-bin.zip --no-check-certificate
mkdir /usr/local/maven
unzip apache-maven-3.8.4-bin.zip -d /usr/local/maven
ll /usr/local/maven
1.3 配置环境变量
vi .bash_profile
# 新增下面几行
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
export JRE_HOME=$JAVA8_HOME/jre
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin:$JAVA_HOME/bin
1.4 配置maven镜像源为阿里镜像源
修改配置文件settings.xml，文件在/usr/local/maven/conf中。
<mirror>
<id>aliyun</id>
<mirrorOf>central</mirrorOf>
<name>aliyun-public</name>
<url>https://maven.aliyun.com/repository/public/</url>
</mirror><id>aliyun-spring</id>
<mirrorOf>spring</mirrorOf>
<name>aliyun-spring</name>
<url>https://maven.aliyun.com/repository/spring</url>
</mirror>
1.5 编译 DataX 可执行二进制文件
按以下步骤编译 DataX 可执行二进制文件：
运行以下命令，下载源代码。
git clone https://github.com/alibaba/DataX.git
速度慢的可以从gitee拉取，或者使用别人打包好的。
git clone https://gitee.com/yongfuxie/DataX.git
注释 DataX/pom.xml 文件中的以下内容，其他组件也可能遇到问题，遇到时从pom文件删除即可
<module>oscarwriter</module>
<module>mongodbreader</module>
<module>mongodbwriter</module>
运行以下命令，使用 Maven 将 DataX 打包。
$ cd {DataX_source_code_home} $ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
生成的文件在target目录下
tar zxvf datax.tar.gz
mv datax /usr/local/
cd /usr/local/datax/
2. 使用mysqldump迁移数据
与mysql之间的迁移没什么不同，如果只迁移表结构，指定-d参数
-d, --no-data No row information.
现在全量迁移一个库：
mysqldump -h 127.0.0.1 -uroot -proot123 -d lcxtest > lcxtest_nodata.sql
mysqldump -h 127.0.0.1 -uroot -proot123 lcxtest > lcxtest.sql
把文件传到observer的机器上，或者在本地连接observer集群：
mysql --no-defaults -h192.168.32.111 -uroot@test_tenant#obcluster -P2883 -proot13 -Dlcxtest
导入时会报错，因为有表用了latin1字符集，修改掉。
sed -i 's/CHARACTER\ SET\ latin1//g' lcxtest_nodata.sql
mysql --no-defaults -h192.168.32.111 -uroot@test_tenant#obcluster -P2883 -proot13 -Dlcxtest
source lcxtest_nodata.sql
仍然会有报错，影响不大，建表语句是正确的
看一下表已经创建出来了。
如果是连数据一起导入，操作相同。
看下数据：
数据迁移成功。
3. 使用datax迁移数据
mysql 创建datax用户，并赋予了all，使用它来迁移数据。（mysql版本5.7）
注意修改相关的配置
{
"job": {
"setting": {
"speed": {
"channel": 4
},
"errorLimit": {
"record": 0,
"percentage": 0.1
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "datax",
"password": "root123",
"column": [
"*"
],
"connection": [
{
"table": [
"lcxtest1"
],
"jdbcUrl": ["jdbc:mysql://192.168.32.130:3306/lcxtest?useUnicode=true&characterEncoding=utf8&useSSL=false"]
}
]
}
},“name”: “oceanbasev10writer”,
“parameter”: {
“obWriteMode”: “insert”,
“column”: [
“*”
],
“preSql”: [
“truncate table lcxtest1”
],
“connection”: [
{
“jdbcUrl”: “||_dsc_ob10_dsc_||obcluster:test_tenant||_dsc_ob10_dsc_||jdbc:oceanbase://192.168.32.111:2883/lcxtest?useLocalSessionState=true&allowBatch=true&allowMultiQueries=true&rewriteBatchedStatements=true”,
“table”: [
“lcxtest1”
]
}
],
“username”: “root”,
“password”:“root123”,
“writerThreadCount”:10,
“batchSize”: 1000,
“memstoreThreshold”: “0.9”
}
}
}
]
}
}
这里格式是 集群:租户
删除已经迁移的四张表
迁移之前需要在ob端创建相应的表结构。
source lcxtest_nodata.sql
启动datax
./datax.py ../job/mysql2ob.json
表迁移成功。
第二张表使用同样的方式，修改配置文件中的表名字即可。
第三涨使用csv格式来导入到OceanBase。
{
"job": {
"setting": {
"speed": {
"channel": 4
},
"errorLimit": {
"record": 0,
"percentage": 0.1
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "datax",
"password": "root123",
"column": [
"*"
],
"connection": [
{
"table": [
"lcxtest1"
],
"jdbcUrl": ["jdbc:mysql://192.168.32.130:3306/lcxtest?useUnicode=true&characterEncoding=utf8&useSSL=false"]
}
]
}
},“name”: “txtfilewriter”,
“parameter”: {
“path”: “/tmp/lcxtest3”,
“fileName”: “lcxtest3.csv”,
“encoding”: “UTF-8”,
“writeMode”: “truncate”,
“dateFormat”: “yyyy-MM-dd hh:mm:ss” ,
“nullFormat”: “\\N” ,
“fileFormat”: “csv” ,
“fieldDelimiter”: “,”
}
}
}
]
}
}
第三张表数据比较少，只有80条。
导入到OceanBase
{
"job": {
"setting": {
"speed": {
"channel": 4
},
"errorLimit": {
"record": 0,
"percentage": 0.1
}
},
"content": [
{
"reader": {
"name": "txtfilereader",
"parameter": {
"path": ["/tmp/lcxtest3"],
"fileName": "lcxtest3.csv",
"encoding": "UTF-8",
"column": ["*"],
"dateFormat": "yyyy-MM-dd hh:mm:ss" ,
"nullFormat": "\\N" ,
"fieldDelimiter": ","
}
},“name”: “oceanbasev10writer”,
“parameter”: {
“obWriteMode”: “insert”,
“column”: [
“*”
],
“preSql”: [
“truncate table lcxtest3”
],
“connection”: [
{
“jdbcUrl”: “||_dsc_ob10_dsc_||obcluster:test_tenant||_dsc_ob10_dsc_||jdbc:oceanbase://192.168.32.111:2883/lcxtest?useLocalSessionState=true&allowBatch=true&allowMultiQueries=true&rewriteBatchedStatements=true”,
“table”: [
“lcxtest3”
]
}
],
“username”: “root”,
“password”:“root123”,
“writerThreadCount”:10,
“batchSize”: 1000,
“memstoreThreshold”: “0.9”
}
}
}
]
}
}
但如前后数据查询：
想了解更多干货，可通过下方扫码关注
可扫码添加上智启元官方客服微信👇
