read.table()
吗?Year Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29
#1 楼
假设数据在文件data.txt
中,则可以使用colClasses
的read.table()
参数跳过列。此处前7列中的数据为"integer"
,我们将其余6列设置为"NULL"
,表示应跳过它们。根据实际数据类型在
"integer"
中进行了详细说明。?read.table
看起来像这样:> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)),
+ header = TRUE)
Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27 -2 -6 -10 -32
,它是使用
创建的
$ cat data.txt
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29
data.txt
所在的位置write.table(dat, file = "data.txt", row.names = FALSE)
如果事先不知道列数,则实用程序功能
dat
将通读文件并计算每行中的字段数。dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L,
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L,
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L,
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr",
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))
评论
@Benjamin使用参数nrows从文件中读取前几行。然后使用ncol()算出有多少列,否则,您想算出要读取/忽略的列数。然后使用此信息读取完整文件。
–加文·辛普森(Gavin Simpson)
2012年11月29日0:42
??如果您不知道列数,您将如何确定它而不读一点就可以推断出多少呢?
–加文·辛普森(Gavin Simpson)
2012年11月29日,0:45
@BlueMagister感谢您的编辑和提及count.fields(),它使我在评论中建议的过程自动化。
–加文·辛普森(Gavin Simpson)
2013年9月20日19:03在
@LéoLéopoldHertz준영不,我不确定这种事情如何适用于数据框中的行类,尽管每一列可能具有不同的类型,但根据定义,每一行都是不受约束的。您将需要在导入时过滤掉空白行等。
–加文·辛普森(Gavin Simpson)
17年5月15日在18:53
@rmf您可以传递count.fields()文本连接,因此,使用txt <-readLines(....)读取行的某些子集,然后创建与读入的连接con <-textConnection(txt) ,然后做count.fields(txt)。如果有,请确保在count.fields()中使用skip来跳过标题行;您不能使用readLines()跳过文件中的行。
–加文·辛普森(Gavin Simpson)
18年1月22日在21:57
#2 楼
要从数据集中读取一组特定的列,还有其他几种选择:1)使用
fread
-package中的data.table
-,您可以指定所需的列使用来自
select
软件包中fread
的data.table
参数。您可以用列名或列号的向量指定列。对于示例数据集:
library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))
,也可以使用
drop
参数指示不应读取的列:dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))
所有结果:
> data
Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27 -2 -6 -10 -32
更新:当您不希望
fread
返回data.table时,请使用data.table = FALSE
-参数,例如:fread("data.txt", select = c(1:7), data.table = FALSE)
2)使用
read.csv.sql
-package中的sqldf
-package:另一种选择是
read.csv.sql
软件包中的sqldf
函数:library(sqldf)
dat <- read.csv.sql("data.txt",
sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
sep = "\t")
3)带有
read_*
-readr
软件包中的功能:library(readr)
dat <- read_table("data.txt",
col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')
从文档中对
col_types
所用字符的说明:每个字符代表一列:c =字符,i =整数,n =数字,d =两倍,l =逻辑,D =日期,T =日期时间,t =时间,? =猜测,或_ /-跳过列
评论
但是,fread不支持压缩文件。大文件通常被压缩。
– CoderGuy123
16年2月28日在9:03
有一项功能要求,以启用此功能。值得注意的是,fread很有可能比read.table读取压缩文件的速度要快得多。请参阅此处的示例。
– Jaap
16-2-28在10:44
一些未压缩的文件太大。例如。我正在处理1000个基因组文件。它们可以是60 GB未压缩的。
– CoderGuy123
16-2-28在10:45
您可能知道,R读取内存中的数据。读取压缩文件还是解压缩文件都不会影响内存中结果数据的大小。如果您有60GB的文件,read.table不会保存您。在这种情况下,您可能需要查看ff-package。
– Jaap
16年4月20日在8:42
@Deleet您可以使用fread读取大型压缩文件,如下所示:fread(“ gunzip -c data.txt.gz”,drop = c(8:13))。
– Arekolek
16年6月23日在9:41
#3 楼
您也可以使用JDBC实现此目的。让我们创建一个示例csv文件。write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file
从以下链接下载并保存CSV JDBC驱动程序:http://sourceforge.net/projects/csvjdbc/files/最新/下载
> library(RJDBC)
> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))
> head(dbGetQuery(conn, "select * from mtcars"), 3)
mpg cyl disp hp drat wt qsec vs am gear carb
1 21 6 160 110 3.9 2.62 16.46 0 1 4 4
2 21 6 160 110 3.9 2.875 17.02 0 1 4 4
3 22.8 4 108 93 3.85 2.32 18.61 1 1 4 1
> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
MPG GEAR
1 21 4
2 21 4
3 22.8 4
#4 楼
您可以这样操作:df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
评论
它只是将文件中的选择列读入R?的方法的重复,Dirk在他的答案中提到了NULL作为列类。stats.stackexchange.com/questions/16796/…
@CiroSantilli包子露宪六四事件法轮功当然,但是...我先问了吗?
我并不是在暗示更好/更糟糕的关系。此外,没有跨站点重复项,除非您交叉发布自己,否则不一致的堆栈交换网络允许它们:-)