# Test Crawl 5 Products - Gardenkindtees.com

## Cách chạy test

### Option 1: Dùng script test (khuyến nghị)
```bash
./test_5_products.sh
```

### Option 2: Dùng main.py với CLOSESPIDER_ITEMCOUNT
```bash
# Set environment variable để giới hạn 5 sản phẩm
export CLOSESPIDER_ITEMCOUNT=5

# Chạy với safe mode (delay 3s)
python3 main.py crawl configs/gardenkindtees-com.yaml --safe --format json
```

### Option 3: Dùng scrapy trực tiếp
```bash
# Activate virtual environment nếu có
source venv/bin/activate  # hoặc source .venv/bin/activate

# Chạy với settings tùy chỉnh
scrapy crawl generic \
  -a config_file=configs/gardenkindtees-com.yaml \
  -s DOWNLOAD_DELAY=3.0 \
  -s CLOSESPIDER_ITEMCOUNT=5 \
  -s LOG_LEVEL=INFO
```

## Các cải thiện đã thực hiện

1. **Tăng delay**: Từ 1.5s lên 3.0s để tránh spam
2. **Giới hạn sản phẩm**: Chỉ crawl 5 sản phẩm để test
3. **Cải thiện pagination reviews**: 
   - Switch sang offset-based pagination sớm hơn (khi page 1 có >= 20 reviews)
   - Giảm threshold dừng (chỉ dừng khi không còn reviews mới)
   - Cải thiện logic phát hiện vấn đề pagination

## Kết quả mong đợi

- Crawl được 5 sản phẩm
- Mỗi sản phẩm có reviews được crawl đầy đủ (không chỉ 22 reviews)
- Delay 3 giây giữa các requests để tránh spam

## Kiểm tra kết quả

Sau khi crawl xong, kiểm tra:
```bash
# Xem số lượng reviews trong file export
cat data/exports/gardenkindtees-com-*.csv | grep -c "Reviews"

# Hoặc xem file JSON
cat data/products.json | python3 -m json.tool | grep -A 5 "reviews"
```

