CallMeSurprise

Python生成指定大小文件

发表于 | 分类于 | 阅读次数

在平时做实验的过程中，经常需要生成一些测试数据，比如指定文件大小、文件记录数，以及文本型、数字型数据等要求。本文记录使用Python生成指定大小的文件和生成指定数量的数据文件两种方式，以及另一个Python小程序，可以读取文件验证文件的行数，即记录数。

以下程序均为Python3版本。

生成指定大小的文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/usr/bin/env python
#-*- coding:utf-8 -*-

import os
import random

def genSizeFile(fileName, fileSize):
	#file path
	filePath="Data"+fileName+".txt"
	
	# 生成固定大小的文件
	# date size
	ds=0
	with open(filePath, "w", encoding="utf8") as f:
		while ds<fileSize:
			f.write(str(round(random.uniform(-1000, 1000),2)))
			f.write("\n")
			ds=os.path.getsize(filePath)
	# print(os.path.getsize(filePath))

# start here.
genSizeFile("1k",1*1024)

通过f.write()往文件内写入数据，这里写入的数据是-1000~1000内的随机数浮点数，保留两位小数点。写入的时候如果不是String类型的数据，必须通过str()转换。

生成指定数量的数据文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/usr/bin/env python
#-*- coding:utf-8 -*-

import os
import random

def genNFile(fileNum):
	numCount=fileNum
	numRange=3*numCount

	tmpList=random.sample(range(numRange), numCount)

	i=0
	filePath=""+str(numCount)+".txt"
	with open(filePath, "w", encoding="utf8") as f:
	   while i<numCount:
	   	f.write(str(tmpList[i]))
	   	f.write("\n")
	   	i=i+1

genNFile(11000)

文件内容随机，且不重复。

查看文件记录数

主要思想在于统计文件内换行符\n的数量，即为文件的行数。

程序设置了buffer缓存数据，具体大小可以根据自己的文件大小进行调节。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/usr/bin/env python
#-*- coding:utf-8 -*-

def countLine(thefilepath):
	count = 0
	with open(thefilepath, 'rb') as thefile:
		while True:
		    buffer = thefile.read(100*1024*1024)
		    if not buffer:
		        break
		    count += str(buffer, encoding = "utf8").count('\n')
	print(count)
# thefile.close( )

# here.
path="Data"+"1G"+".txt"
countLine(path)

小结

关于Python的资料很多，生成指定大小文件的方式也有，但是部分资料生成的数据为无意义文本，不适用于某些特定场景。本文记录的程序也不一定适合所有人，不过可以根据已有的程序和实现思路，举一反三，引申、拓展出自己想要的效果。