python学习_python怎么读取csv文件

python学习_python怎么读取csv文件

Python读写csv文件

媒介

逗号分开值(Co妹妹a-Separated Values,CSV,偶然也称为字符分开值,由于分开字符也能够没有是逗号),其文件以纯文本方式存储表格数据(数字以及文本)。纯文本象征着该文件是一个字符序列,没有含必需像二进制数字那样被解读的数据。CSV文件由恣意数量的记载构成,记载间以某种换行符分开;每一笔记录由字段构成,字段间的分开符是别的字符或者字符串,最多见的是逗号或者制表符。凡是,一切记载都有完整相反的字段序列.

特色

读掏出的数据普通为字符范例,假如是数字需求报酬转换为数字

以行动单元读取数据

列之间以半角逗号或者制表符为分开,普通为半角逗号

普通为每一行扫尾没有空格,第一行是属性列,数据列之间以距离符为距离无空格,行之间无空行。

行之间无空行非常紧张,假如有空行或许数据会合行末有空格,读取数据时普通会堕落,激发[list index out of range]过错。PS:曾经被这个过错坑过良多次!

运用python I/O写入以及读取CSV文件

运用PythonI/O写入csv文件

如下是将"birthweight.dat"低出身体重的dat文件从作者源处下载上去,而且将其处置后保管到csv文件中的代码。

import csv
import os
import numpy as np
import random
import requests
# name of data file
# 数据集称号
birth_weight_file = 'birth_weight.csv'
# download data and create data file if file does not exist in current directory
# 假如以后文件夹下不birth_weight.csv数据集则下载dat文件并天生csv文件
if not os.path.exists(birth_weight_file):
    birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'
    birth_file = requests.get(birthdata_url)
    birth_data = birth_file.text.split('\\r\\n')
    # split联系函数,以一行作为联系函数,windows中换行标记为'\\r\\n',每行前面都有一个'\\r\\n'标记。
    birth_header = birth_data[0].split('\\t')
    # 每列的题目,标正在第一行,便是birth_data的第一个数据。并运用制表符作为分别。
    birth_data = [[float(x) for x in y.split('\\t') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]
    print(np.array(birth_data).shape)
    # (189, 9)
    # 此为list数据方式没有是numpy数组不克不及运用np,shape函数,可是咱们可使用np.array函数将list工具转化为numpy数组后运用shape属性停止检查。
    with open(birth_weight_file, "w", newline='') as f:
    # with open(birth_weight_file, "w") as f:
        writer = csv.writer(f)
        writer.writerows([birth_header])
        writer.writerows(birth_data)
        f.close()

python学习_python怎么读取csv文件

罕见过错list index out of range

此中咱们重点需求讲的是 with open(birth_weight_file, "w", newline='') as f: 这个语句。透露表现写入csv文件,假如没有加之参数 newline='' 透露表现以空格作为换行符,而是用 with open(birth_weight_file, "w") as f: 语句。则天生的表格中会呈现空行。

python学习_python怎么读取csv文件

不只仅是用python I/O停止csv数据的读写时,应用其他办法读写csv数据,或许从网高低载好csv数据集后都需求检查其每一行后有无空格,或许有无过剩的空行。防止不用要的过错~影响数据剖析时的判别。

运用PythonI/O读取csv文件

运用python I/O办法停止读取时便是新建一个List 列表而后依照后行后列的挨次(相似C言语中的二维数组)将数据存进空的List工具中,假如需求将其转化为numpy 数组也能够运用np.array(List name)停止工具之间的转化。

birth_data = []
with open(birth_weight_file) as csvfile:
    csv_reader = csv.reader(csvfile)  # 运用csv.reader读取csvfile中的文件
    birth_header = next(csv_reader)  # 读取第一行每列的题目
    for row in csv_reader:  # 将csv 文件中的数据保管到birth_data中
        birth_data.append(row)
birth_data = [[float(x) for x in row] for row in birth_data]  # 将数据从string方式转换为float方式
birth_data = np.array(birth_data)  # 将list数组转化成array数组便于检查数据构造
birth_header = np.array(birth_header)
print(birth_data.shape)  # 应用.shape检查构造。
print(birth_header.shape)
#
# (189, 9)
# (9,)

运用Pandas读取CSV文件

import pandas as pd
csv_data = pd.read_csv('birth_weight.csv')  # 读取锻炼数据
print(csv_data.shape)  # (189, 9)
N = 5
csv_batch_data = csv_data.tail(N)  # 取后5条数据
print(csv_batch_data.shape)  # (5, 9)
train_batch_data = csv_batch_data[list(range(3, 6))]  # 取这20条数据的3到5列值(索引从0开端)
print(train_batch_data)
#      RACE  SMOKE  PTL
# 184   0.0    0.0  0.0
# 185   0.0    0.0  1.0
# 186   0.0    1.0  0.0
# 187   0.0    0.0  0.0
# 188   0.0    0.0  1.0

运用Tensorflow读取CSV文件

自己正在平常普通都是运用Tensorflow处置各种数据,以是关于运用Tensorflow读取数据正在此不外多的停止表明,上面贴上一段代码。

'''运用Tensorflow读取csv数据'''
filename = 'birth_weight.csv'
file_queue = tf.train.string_input_producer([filename])  # 配置文件名行列步队,如许做可以批量读取文件夹中的文件
reader = tf.TextLineReader(skip_header_lines=1)  # 运用tensorflow文本行浏览器,而且配置疏忽第一行
key, value = reader.read(file_queue)
defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]]  # 配置列属性的数据格局
LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)
# 将读取的数据编码为咱们配置的默许格局
vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI])  # 读获得到的两头7列属性为锻炼特点
vertor_label = tf.stack([BWT])  # 读获得到的BWT值透露表现锻炼标签
# 用于给掏出的数据增加上batch_size维度,以批处置的体式格局读出数据。能够配置批处置数据巨细,能否反复读取数据,容量巨细,行列步队开端巨细,读取线程等属性。
example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)
# 初始化Session
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 线程办理器
    threads = tf.train.start_queue_runners(coord=coord)
    print(sess.run(tf.shape(example_batch)))  # [10  7]
    print(sess.run(tf.shape(label_batch)))  # [10  1]
    print(sess.run(example_batch)[3])  # [ 19.  91.   0.   1.   1.   0.   1.]
    coord.request_stop()
    coord.join(threads)
'''
关于运用一切Tensorflow的I/O操纵来讲开启以及封闭线程办理器都是须要的操纵
with tf.Session() as sess:
    coord = tf.train.Coordinator()  # 线程办理器
    threads = tf.train.start_queue_runners(coord=coord)
    #  Your code here~
    coord.request_stop()
    coord.join(threads)
'''

另有其余运用python读取文件的各类办法,这里介绍三种,没有活期停止弥补。

以上便是python怎样读取csv文件的具体内容,更多请存眷酷吧易资源网别的相关文章!

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

酷吧易资源网 python教程 python学习_python怎么读取csv文件 https://www.kubayi.com/4960.html

常见问题

相关文章

评论
暂无评论