mysql:自动将数据从常规txt/csv文件摄取到数据库

pn9klfpd  于 2021-06-20  发布在  Mysql
关注(0)|答案(1)|浏览(239)

简介
我已经搜索了所有关于这个问题,但我真的没有找到一个关于这个问题的知识来源,所以我很抱歉,如果这个问题似乎是基本的,你,但对我来说是相当有趣的,因为事实上,我很难猜出什么关键字在谷歌上使用,以检索适当的信息。
问题描述:
事实上,对于安装在windows环境下笔记本电脑上的mysql示例,我不得不面对一些我不知道如何处理的问题:
我在mysql中有一个数据库,有50个表,其中有15或20个表是带有原始数据的表。其他表是我从原始数据表生成的表,以便正确地创建允许我在powerbi中分析数据的表。原始数据表由来自erp数据库的转储提供。我的问题如下:
如何自动接收累积的txt/csv文件(通过笔驱动器或任何其他传输机制),将这些文件存储到文件夹中,然后用新信息更新现有表?是否有任何最佳实践的参考来处理这种情况?如何通过连续的数据集成保持数据库的良好状态,我的意思是,如何使数据库具有可伸缩性和响应性?你能告诉我一些能帮我解决这个问题的消息来源吗?
目前,我将数据导入到表中,分为两个步骤:
首先,我用workbench导入向导帮助创建了表结构(我必须这样做,因为表有很多字段——实际上有几十个字段,这些字段需要在数据库中)。我还在这些表中插入了主键和索引;
第二,我使用loaddatainfile命令将数据从文件加载到那些表中。
使用导入向导创建的表的某些字段是作为数据类型文本创建的,在这种情况下不需要。我想将这些字段还原为数据类型nvarchar(255)或其他类型,但是此时有许多字段需要更改数据类型和多个表中的数据类型,我想知道是否可以编写一个查询来创建所有需要的alter tables语句。
所以我这里的问题是:在多列的多个字段中更改数据类型安全吗(在本例中,我想将数据类型为text的字段更改为navarchar(255))?最好的方法是什么?你能给我指出一些来源或最佳实践吗?
事先谢谢你的帮助。干杯

ahy6op9u

ahy6op9u1#

你需要的是脚本语言,而不是用户界面。请参阅mysql命令行工具、操作系统的shell等。
删除数据库并重新创建
加载数据
对数据进行按摩,使列比加载数据提供的更干净
在数据上使用bi工具。
如果您想讨论第3步,我们需要关于第2步和第4步之间需要进行哪些转换的详细信息。这包括为步骤2和4提供格式或模式。

相关问题