从那里，我从每个评论本身获得了所有课程详细信息，5个项目和另外6个项目。
这是我用于课程详细信息的代码：
def parse_reviews(self, response):
l = ItemLoader(item=MoocsItem(), response=response)
l.add_xpath('course_title', '//*[@class="course-header-ng__main-info__name__title"]//text()')
l.add_xpath('course_description', '//*[@class="course-info__description"]//p/text()')
l.add_xpath('course_instructors', '//*[@class="course-info__instructors__names"]//text()')
l.add_xpath('course_key_concepts', '//*[@class="key-concepts__labels"]//text()')
l.add_value('course_link', response.url)
return l.load_item()
现在我想包括评论详细信息，每项另外5项评论。
由于所有评论的课程数据都是通用的，因此我希望将其存储在不同的文件中，然后使用课程名称/ id关联数据。
这是我要使用的代码评价的项目：
for review in response.xpath('//*[@class="review-body"]'):
review_body = review.xpath('.//div[@class="review-body__content"]//text()').extract()
course_stage = review.xpath('.//*[@class="review-body-info__course-stage--completed"]//text()').extract()
user_name = review.xpath('.//*[@class="review-body__username"]//text()').extract()
review_date = review.xpath('.//*[@itemprop="datePublished"]/@datetime').extract()
score = review.xpath('.//*[@class="sr-only"]//text()').extract()
我尝试使用临时解决方案，返回每种情况下的所有项目，但均不起作用： >
def parse_reviews(self, response):
#print response.body
l = ItemLoader(item=MoocsItem(), response=response)
#l = MyItemLoader(selector=response)
l.add_xpath('course_title', '//*[@class="course-header-ng__main-info__name__title"]//text()')
l.add_xpath('course_description', '//*[@class="course-info__description"]//p/text()')
l.add_xpath('course_instructors', '//*[@class="course-info__instructors__names"]//text()')
l.add_xpath('course_key_concepts', '//*[@class="key-concepts__labels"]//text()')
l.add_value('course_link', response.url)
for review in response.xpath('//*[@class="review-body"]'):
l.add_xpath('review_body', './/div[@class="review-body__content"]//text()')
l.add_xpath('course_stage', './/*[@class="review-body-info__course-stage--completed"]//text()')
l.add_xpath('user_name', './/*[@class="review-body__username"]//text()')
l.add_xpath('review_date', './/*[@itemprop="datePublished"]/@datetime')
l.add_xpath('score', './/*[@class="sr-only"]//text()')
yield l.load_item()
该脚本的输出文件已损坏，单元已移位且字段大小不正确。
编辑：
我想要输出中有两个文件：
第一个包含：
course_title,course_description,course_instructors,course_key_concepts,course_link
，第二个包含：
course_title,review_body,course_stage,user_name,review_date,score
#1 楼
问题是您将所有内容混合到一个项目中，这不是正确的方法。您应该创建两个项目MoocsItem和MoocsReviewItem ，然后更新如下所示的代码
def parse_reviews(self, response):
#print response.body
l = ItemLoader(item=MoocsItem(), response=response)
l.add_xpath('course_title', '//*[@class="course-header-ng__main-info__name__title"]//text()')
l.add_xpath('course_description', '//*[@class="course-info__description"]//p/text()')
l.add_xpath('course_instructors', '//*[@class="course-info__instructors__names"]//text()')
l.add_xpath('course_key_concepts', '//*[@class="key-concepts__labels"]//text()')
l.add_value('course_link', response.url)
item = l.load_item()
for review in response.xpath('//*[@class="review-body"]'):
r = ItemLoader(item=MoocsReviewItem(), response=response, selector=review)
r.add_value('course_title', item['course_title'])
r.add_xpath('review_body', './/div[@class="review-body__content"]//text()')
r.add_xpath('course_stage', './/*[@class="review-body-info__course-stage--completed"]//text()')
r.add_xpath('user_name', './/*[@class="review-body__username"]//text()')
r.add_xpath('review_date', './/*[@itemprop="datePublished"]/@datetime')
r.add_xpath('score', './/*[@class="sr-only"]//text()')
yield r.load_item()
yield item
现在您想要的是不同的项目类型在不同的csv文件中。下面的SO线程回答的是什么
如何将导出的项目抓取导出以将每个项目的csv文件分开
尚未测试下面的内容，但是代码将变成下面的内容
from scrapy.exporters import CsvItemExporter
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher
def item_type(item):
return type(item).__name__.replace('Item','').lower() # TeamItem => team
class MultiCSVItemPipeline(object):
SaveTypes = ['moocs','moocsreview']
def __init__(self):
dispatcher.connect(self.spider_opened, signal=signals.spider_opened)
dispatcher.connect(self.spider_closed, signal=signals.spider_closed)
def spider_opened(self, spider):
self.files = dict([ (name, open(CSVDir+name+'.csv','w+b')) for name in self.SaveTypes ])
self.exporters = dict([ (name,CsvItemExporter(self.files[name])) for name in self.SaveTypes])
[e.start_exporting() for e in self.exporters.values()]
def spider_closed(self, spider):
[e.finish_exporting() for e in self.exporters.values()]
[f.close() for f in self.files.values()]
def process_item(self, item, spider):
what = item_type(item)
if what in set(self.SaveTypes):
self.exporters[what].export_item(item)
return item
您需要确保将
ITEM_PIPELINES更新为使用此MultiCSVItemPipeline类ITEM_PIPELINES = {
'mybot.pipelines.MultiCSVItemPipeline': 300,
}
评论
您可以共享接收到的输出的样本以及所需输出的示例吗？@EvyatarMeged我只为每个文件指定了我想要的列。