# Scrapy framework xây dựng các spider thu thập dữ liệu

**URL:** <https://tech.bkav.net/t/scrapy-framework-xay-dung-cac-spider-thu-thap-du-lieu/561>\
**Category:** Cài đặt, Ứng dụng Linux\
**Created:** [20 Tháng Một 2025 04:58 UTC](https://tech.bkav.net/t/scrapy-framework-xay-dung-cac-spider-thu-thap-du-lieu/561 "2025-01-20T04:58:00Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![bkavNetw](https://tech.bkav.net/user_avatar/tech.bkav.net/bkavnetw/32/162_2.png) [@bkavNetw](https://tech.bkav.net/u/bkavNetw)\
**Post date:** [20 Tháng Một 2025 04:58 UTC](https://tech.bkav.net/t/scrapy-framework-xay-dung-cac-spider-thu-thap-du-lieu/561/1 "2025-01-20T04:58:00Z")

</div>

Scrapy là một framework mạnh mẽ và phổ biến để xây dựng các spider thu thập dữ liệu trên web. Dưới đây là hướng dẫn cơ bản để cài đặt và sử dụng Scrapy trên hệ điều hành Ubuntu:

* * *

## 1. **Cài đặt Scrapy trên Ubuntu**

Trước khi bắt đầu, hãy đảm bảo rằng bạn đã cài đặt Python và `pip` trên hệ thống của mình.

### a. Cài đặt các gói cần thiết

Mở terminal và chạy lệnh sau để cài đặt các phụ thuộc:

```auto
sudo apt update
sudo apt install python3 python3-pip python3-venv

```

### b. Tạo môi trường ảo (khuyến nghị)

Tạo và kích hoạt môi trường ảo để quản lý các gói Python:

```auto
python3 -m venv scrapy_env
source scrapy_env/bin/activate

```

### c. Cài đặt Scrapy

Sử dụng `pip` để cài đặt Scrapy:

```auto
pip install scrapy

```

Để kiểm tra xem Scrapy đã được cài đặt thành công chưa:

```auto
scrapy --version

```

* * *

## 2. **Tạo và chạy một dự án Scrapy**

### a. Tạo một dự án Scrapy mới

Chạy lệnh dưới đây để tạo một dự án Scrapy mới:

```auto
scrapy startproject myproject

```

Thao tác này sẽ tạo cấu trúc thư mục như sau:

```auto
myproject/
    scrapy.cfg
    myproject/
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spiders/
            __init__.py

```

### b. Tạo một spider

Di chuyển vào thư mục dự án:

```auto
cd myproject

```

Tạo một spider mới bằng lệnh:

```auto
scrapy genspider example example.com

```

Lệnh này sẽ tạo tệp `example.py` trong thư mục `spiders`.

### c. Viết mã thu thập dữ liệu

Mở tệp spider trong `spiders/example.py` và chỉnh sửa nội dung. Ví dụ đơn giản để lấy tiêu đề từ trang web:

```auto
import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ['http://example.com']

    def parse(self, response):
        yield {
            'title': response.css('title::text').get(),
        }

```

### d. Chạy spider

Để chạy spider và lưu dữ liệu vào tệp JSON:

```auto
scrapy crawl example -o output.json

```

* * *

## 3. **Cấu hình dự án Scrapy**

Các cài đặt như độ trễ giữa các yêu cầu, số lượng yêu cầu đồng thời,… có thể được cấu hình trong tệp `settings.py`.

Ví dụ để giới hạn số lượng yêu cầu đồng thời:

```auto
CONCURRENT_REQUESTS = 1
DOWNLOAD_DELAY = 2 # Giảm tải cho server

```

* * *

## 4. **Debug và kiểm tra**

Scrapy cung cấp chế độ shell để kiểm tra mã:

```auto
scrapy shell 'http://example.com'

```

Bạn có thể sử dụng các lệnh như `response.css()` hoặc `response.xpath()` để kiểm tra các selector.

* * *

## 5. **Tài liệu chính thức**

Để biết thêm chi tiết, bạn có thể tham khảo tài liệu chính thức tại: Scrapy Documentation.
