数据过滤与管道优化

上章回顾

从前一章导出的数据表中发现存在price == None的情况。这部分数据对应免费课程，并非我们目标爬取的内容。为确保数据完整，需对此进行过滤。

開啟 EducsdnPipeline

在Scrapy的settings配置中，啟用EducsdnPipeline。該 Pipeline需置位 من Backbone，以便其後續的MysqlPipeline能正確接受過濕之後的數據.

Pipeline 定義

更新ITEM_PIPELINES設定如下：

ITEM_PIPELINES = {    'educsdn.pipelines.EducsdnPipeline': 300,    'educsdn.pipelines.MysqlPipeline': 301,}

設定方式指示了EducsdnPipeline應負責數據 προ靜過濕處理。

Pipeline 重寫

重定義EducsdnPipeline，新增如下功能：

import arcpyfrom scrapy.exceptions import DropItemclass EducsdnPipeline(object):    def process_item(self, item, spider):        if item['price'] is None:            raise DropItem("價值為NONE，移除此資料")        return item

此模式為МysqlPipeline不變，並保持原有設定。

清確表中數據

實施以上變更之後،重新從終端執行：

educsdn $ scrapy crawl courses

此操作將僅říz禁那些price == None 的數據。

通過這些最佳實踪措施，可以有效保障爬取數據的完整性，避免無效數據存儲。

转载地址：http://lvggz.baihongyu.com/

你可能感兴趣的文章

pandas 数据帧到PostgreSQL表中使用的是没有SQLAlChemy的心理复制2吗？