Python读取大规模TXT数据

Python 专栏收录该内容
2 篇文章 0 订阅

简介:主要是处理300多万数据的时候,想从中取出某一个特征不重复的数据。    

         处理数据和大规模数据一直都是编程的重要问题,尤其是常见的txt,csv,excel等,本文介绍一下读取大规模数据的python

程序代码:

        描述:

                 我想将“数据.txt”中的第0列的数据取出,将不同的元素存到“m数据.txt”中,注意,数据没有附录上

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
#获取需要处理的数据
f=open('数据.txt','r', encoding='UTF-8')#只读,要处理的数据
#写数据
ff=open('m数据.txt','a')#追加形式,写入新建文件
b=0
c = set()#set集合,集合元素是不重复的
#大量数据时用readline(一条),readlines(全部)
while 1:
    l=f.readline()
    a = l.split("\t")
    b=b+1
    c.add(a[0]+"\n")
    print(a[0])
    if l=='':
        break
print(b)
aa=list(c)
aa.sort()
#写入数据
for bb in aa:
    ff.write(bb)

f.close()
ff.close()

希望对你有所帮助!


  • 1
    点赞
  • 0
    评论
  • 5
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值