学习python3 -读txt选择所需数据或其他信息,并将数据导入Mysql数据库

读txt选择所需数据或其他信息,将数据导入Mysql数据库

要实现这个功能,我们先来屡屡思路:

1.找到要读取的文件名

2.读取文件内容后使用正则选出所需值

3.将所所需数据导入mysql数据

大概是这么个思路,ps:中间却有很多小细节

第一步,获取文件名:


知识点os.walk:os.walk通过在目录树中游走输出在目录中的文件名,向上或者向下。一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。

第二步,遍历文件并使用正则选出所需值:


知识点:1.m =str(f.readlines()),正则匹配的是字符串,所以要将读取到的txt内容转换成字符类型哦

             2.正则表达式re.findall()用法:匹配多处正则,即查找全部RX bytes:(\d+)中的数值,ps返回的是()中的数值

ps:数值不在列表中,则插入对应位置


这个点要吐槽下,j in list2返回值:True or False,判断元素是否存在列表中。刚开始没想到这个方法,好囧。

第三步:导入数据(哎呦呦重点哦)

1.将所需内容写入txt文件

2.将数据改为固定格式

3.批量导入数据

a.这个没啥可说的,要说的就是“a”--追加写入


b.数据格式(敲黑板,当初重点卡在这里),因为上面数据是以元组形式写入txt的。而导入数据库格式是[(*,*,*,*,*),(*,*,*,*,*),(*,*,*,*,*)...](一个列表,列表每项是一个元组),而txt文本是这样子的,直接读取又无法转换格式


问题来了,怎么转换成这种格式呢,因为它是以字符串读取txt内容的,即获取的“('129584883789', '0', '0', '1', '805698509044652', '353610602053941', '1799686896', '186692267035', '0', '45262516465', .....”都是字符形式,和我导入数据库格式可不一样哦。

方法来了,第一使用replace('(', '')方法,先去除“(“和”)”以及“\n”,同样方法再去除‘’(单引号),这样我们能得到一个这样的数列

“129584883789, 0, 0, 1,805698509044652, 353610602053941, 1799686896, 186692267035, 0,45262516465”这里就可以看到是我们想要的数据。

第二,使用ss=tuple([str(j) for in sj.split(',')])方法。以“,”号分隔,将字符串转换成元组,

输出:[(129584883789, 0, 0, 1,805698509044652, 353610602053941, 1799686896, 186692267035, 0,45262516465),(129584883709, 0, 0, 0,805698509044234, 353610602053941, 1799686896, 186692267035, 0,4526251614),(.....),.....]

完美解决!!!!!


c.数据准备好了,先连接上我们的数据库,在查看下我们要导入的数据库的库名是否存在,若不存在首先要创建出来,再进行导入。

知识点:sql语句中,数据如果有固定类型就写固定类型的,如果没有就是要%s占位吧

       cursor.extcutemany()批量导入多条数据,数据格式为[(),(),(),(),()....]

运行一下,哇喔!插入数据成功喽!!!!

记录一下学习python之路,新手的我加油吧!!

ps:第一次写代码呢,python3的mysql数据库模块是pymysql



猜你喜欢

转载自blog.csdn.net/zhanghongyans/article/details/80568849