ogr2ogr的替代方案，用于将大型GeoJson文件加载到PostGIS

#1 楼

您发送的样本表明，可以使用记事本++之类的编辑器手动拆分文件
1）为每个块创建一个标题：

{"type":"FeatureCollection","features":[

2）在标头后放置许多功能：

{"geometry": {"type": "Point", "coordinates": [-103.422819, 20.686477]}, "type": "Feature", "id": "SG_3TspYXmaZcMIB8GxzXcayF_20.686477_-103.422819@1308163237", "properties": {"website": "http://www.buongiorno.com", "city": "M\u00e9xico D.F. ", "name": "Buongiorno", "tags": ["mobile", "vas", "community", "social-networking", "connected-devices", "android", "tablets", "smartphones"], "country": "MX", "classifiers": [{"category": "Professional", "type": "Services", "subcategory": "Computer Services"}], "href": "http://api.simplegeo.com/1.0/features/SG_3TspYXmaZcMIB8GxzXcayF_20.686477_-103.422819@1308163237.json", "address": "Le\u00f3n Tolstoi #18 PH Col. Anzures", "owner": "simplegeo", "postcode": "11590"}},

3）用以下代码完成块：

]}

编辑-这是python代码，它将文件按定义的大小（按功能数量）分割：

import sys

class JsonFile(object):
    def __init__(self,file):
        self.file = open(file, 'r') 
    def split(self,csize):
        header=self.file.readline()
        number=0
        while True:
            output=open("chunk %s.geojson" %(number),'w')
            output.write(header)
            number+=1
            feature=self.file.readline()
            if feature==']}':
                break
            else:
                for i in range(csize):
                    output.write(feature)
                    feature=self.file.readline()
                    if feature==']}':
                        output.write("]}")
                        output.close()
                        sys.exit("Done!")
                output.write("]}")
                output.close()

if __name__=="__main__":
    myfile = JsonFile('places_mx.geojson')
    myfile.split(2000) #size of the chunks.

#2 楼

不幸的是，JSON非常类似于XML，非常不适合流处理，因此几乎所有实现都需要将整个数据集加载到内存中。尽管对于您的小型集合来说这是可以的，但除了将数据集分成更小的，可管理的块之外，别无选择。

改进了Pablo的解决方案，这是不需要您实际打开和加载的解决方案将该文件放入编辑器中，然后手动拆分，但尝试使整个过程尽可能自动化。

将json文件复制到Unix主机（Linux，osx）上或在Windows上安装cygwin工具。 br />然后打开一个shell并使用vim从文件中删除第一行和最后一行：

$ vim places.json

键入dd删除第一行，然后按SHIFT-G移动文件末尾，再次输入dd以删除最后一行。
现在输入：wq保存更改。这最多只需要花费几分钟。

现在，我们将利用unix的强大功能将文件拆分为更易于管理的块。在外壳程序类型中：

$ split -l 10000 places.json places-chunks-

去喝啤酒。
这会将文件分割成许多小文件，每个文件包含10000行。您可以增加行数，只要保持足够小以使ogr2gr可以管理它即可。

现在我们将在每个文件上添加首尾：

$ echo '{"type":"FeatureCollection","features":[' > head
$ echo ']}' > tail
$ for f in places-chunks-* ; do cat head $f tail > $f.json && rm -f $f ; done

抓个蛇。
前两个命令只是创建一个具有正确内容的页眉和页脚文件（实际上只是为了方便起见），最后一个命令将添加页眉和页脚添加到上面拆分的每个块中，并删除无标题/无页脚的块（以节省空间）。

此时，您可以希望使用ogr2​​ogr处理很多place-chunks-*。json文件：

$ for f in places-chunks-*.json ; do ogr2ogr -your-options-here $f ; done

#3 楼

用Python编写一个懒惰的读取器和写入器应该很简单，该读取器和写入器会将您的geojson文件转换为小得多的shapefile格式，或者直接转换为SQL，而无需在内存中完成所有操作。转换后，本地PostGIS工具可以导入大数据集。 OGR中对geojson的支持相对较新，并且没有任何用于处理大文件的标志。

如果您可以以某种方式共享文件的可管理部分，我可以为您提供帮助。

#4 楼

GDAL 2.3.0中对此进行了改进https://trac.osgeo.org/gdal/wiki/Release/2.3.0-News现在读取大型GeoJSON文件的内存效率更高。

#5 楼

可以使用FME Desktop加载数据。
非常容易。