如何将数据从MySQL/MongoDB中迁移至云开发数据库
前言
云开发数据库
云开发为我们提供了一个 JSON 文档型数据库(NoSQL)，并集成了增删改查等 API，操作方便，简单易懂。并且相比传统数据库而言它具有高性能的数据库读写服务，可以直接在客户端对数据进行读写，无需关心数据库实例和环境。云开发官方文档：https://cloud.tencent.com/product/tcb?from=12763
迁移说明
本篇文章从 MySQL、MongoDB 迁移到云开发数据库，其他数据库迁移也都大同小异~
迁移大致分为以下几步?：
- 从 MySQL、MongoDB 将数据库导出为 JSON 或 CSV 格式
- 创建一个云开发环境
- 到云开发数据库新建一个集合
- 在集合内导入 JSON 或 CSV 格式文件
Mysql 迁移到云开发数据库
为了方便，我们使用 Navicat for MySQL 进行导出。
导出为 CSV 格式
选中表后进行导出
类型中选择 csv 格式
注：在第 4 步时，我们需要勾选包含列的标题
导出后的 csv 文件内容 第一行为所有键名，余下的每一行则是与首行键名相对应的键值记录。类似这样?
导出为 JSON 格式
同样的我们将选中的表进行导出为 json 格式：
剩余步骤全部选择默认即可。
导出后的样子?
我们将数组去除，最后是这样?
MongoDB 迁移到云开发数据库
首先我们先启动 mongod 服务：
启动后此终端不要关闭。
导出为 CSV 格式
新打开一个终端，输入以下命令
mongoexport - d;
数据库 -c 集合名称 --csv -f 导出的列名以,分割 -o 输出路径****输出名字**.csv**
注：导出 csv 格式时需要指定导出的列 否则会报错：
csv mode requires a field list
导出后的样子：
导出为 JSON 格式
新打开一个终端，输入以下命令：
mongoexport -d 数据库 -c 集合名称 -o 输出路径\输出名字.json
参数说明：
| 参数 | 全称 | 参考解释 |
|---|---|---|
| -d | --db |
指定数据库名称 |
| -c | --collection |
指定需要导出的集合 |
| -o | --out |
指定要导出的文件路径（含文件名） |
导出后的样子：
导入
当我们导出工作准备好之后，就可以进行进行导入啦！
新建云环境
如果已有云环境，可直接跳过这一步打开云开发控制台新建云环境：
新建环境后耐心等待 2 分钟环境初始化过程。
数据库导入
我们进入云环境后，找到数据库选项，默认有一个 tcb_hello_world 集合，可以把他删掉。
点击添加集合来创建一个集合：
新建之后我们点进去，并进行导入操作：
选择我们之前导出的 CSV 或 JSON 格式文件。
注：这里有两种冲突处理模式：Insert 和 Upsert \Insert：Insert 模式会在导入时总是插入新记录，同一文件不能存在重复的 _id 字段，或与数据库已有记录相同的 _id 字段。\Upsert：Upsert 模式会判断有无该条记录，如果有则更新该条记录，否则就插入一条新记录。
简单的说，有时我们并不希望产生冗余重复的数据，那么我们可以使用 Upsert 模式。当然如果希望之间的数据不被覆盖掉，可以选择 Insert 模式。
这里我们选择 Upsert 模式：
点击导入之后就会发现有内容啦~
数据库测试
最后我们来测试一下是否可用。
安装 cloudbase/cli
cloudbase/cli 是一个开源的命令行界面交互工具，用于帮助用户快速、方便的部署项目，管理云开发资源。
npm i -g @cloudbase/cli
云开发项目初始化
安装完成后进行云开发项目初始化tcb init.
$ tcb init
√ 选择关联环境 · 环境名称 - [环境ID:空]
√ 请输入项目名称 · cloudbase-demo
√ 创建项目 cloudbase-demo 成功！
默认会有一个名为 app 的云函数，我们只是测试，所以修改 functions/app/index.js 即可
编写测试数据库代码
将以下代码拷入：
const tcb = require("tcb-admin-node");
tcb.init({
env: tcb.getCurrentEnv(),
});
const db = tcb.database();
exports.main = async (event) => {
return db.collection("db_remove").get();
};
这里我们用到了 tcb-admin-node ,使用 npm 安装一下即可
npm i --save tcb-admin-node@latest
本地运行云函数
本地运行云函数执行命令：
tcb functions:run --name app
可以看到成功返回我们导入的数据，具体云函数的写法可以参照云开发文档。
可能发生的问题
1.secure_file_priv 的 Value 为 Null；
如果 MySQL 采用 into outfile 命令导出可能报错：
[Code: 1290, SQL State: HY000] The MySQL server is running with the –secure-file-priv option so it cannot execute this statement
这是因为我们 secure_file_pri 参数给的权限不足以使我们对数据进行导入导出。
解决办法：打开 MySQL 的配置文件**(mysqld.cnf)**,在其中加入或修改 secure_file_pri="/"，表示可以对任何路径进行导入导出操作。
2.JSON 数据不是数组，而是类似 JSON Lines，即各个记录对象之间使用 \n 分隔，而非逗号；
例如，应该写成
{
"user":"aaa",
"pwd":43
}
{
"user":"root",
"pwd":8
}
而非（注意逗号的区别）
{
"user":"aaa",
"pwd":43
},
{
"user":"root",
"pwd":8
}
注：像上面例子这样的没有 json 嵌套可以直接采用替换的方式进行将每条数据之间逗号去除，将 },换行{ 替换为 }换行{ 。如果有 json 嵌套可以采用正则的方式进行去除。
我们可以将 json 用数组 ([ ]) 包起来，遍历这个数组，对于每一项使用正则 },$ 匹配到每一项最后的逗号，将其替换为 }。这样就解决了 }, => } 在有 json 嵌套的去掉每条数据之间逗号。
有其他的问题可以参考数据库导入。