跳至主要內容

n8n 與 Crawl4AI 教學：無程式碼網頁擷取的全面指南

博客n8n網頁擷取Crawl4AI大约 5 分鐘

n8n 與 Crawl4AI 教學：無程式碼網頁擷取的全面指南

在當今的數位環境中，數據比以往任何時候都更為重要。組織和個人都在不斷尋找有效收集、分析和利用數據的方法。n8n，一個強大的開源工作流程自動化工具，與 Crawl4AI，一個先進的網頁擷取解決方案的結合，使得用戶能夠輕鬆擷取數據，而無需任何程式碼知識。本教學將指導您如何將 n8n 與 Crawl4AI 整合，以建立有效的網頁擷取工作流程，幫助您收集任何應用所需的數據。

n8n 和 Crawl4AI 是什麼？

n8n

n8n 是一個免費且開源的工具，允許用戶通過連接各種應用程序和服務來自動化工作流程。其無程式碼介面使得使用者能夠通過簡單的拖放介面輕鬆創建複雜的工作流程。n8n 支援通過其各種節點與眾多應用程序的整合，使用戶能夠無縫自動化任務和同步數據。

Crawl4AI

Crawl4AI 是一個開源的網頁擷取工具，旨在與大型語言模型（LLMs）良好協作。它允許用戶從網站中提取數據，而無需複雜的程式碼技能。Crawl4AI 針對效率進行了優化，並能夠格式化數據以用於各種 AI 應用，成為開發者和數據愛好者的熱門選擇。

為什麼要將 n8n 與 Crawl4AI 結合使用？

將 n8n 與 Crawl4AI 結合起來，形成了一個強大的網頁擷取解決方案，提供了幾個好處：

  1. 無程式碼解決方案： 用戶可以在不寫一行程式碼的情況下創建工作流程，使網頁擷取對每個人都變得可及。
  2. 靈活性： 這兩個工具都具有高度的可自定義性，允許用戶根據特定需求調整工作流程。
  3. 整合能力： n8n 的廣泛整合選項使得與其他工具和服務（如數據庫或通知系統）連接變得簡單。

開始使用：設置 n8n 和 Crawl4AI

步驟 1：安裝 n8n

第一步是在您的本地機器或 LightNode 伺服器上安裝 n8n。您可以使用 Docker、npm 或官方安裝包來安裝 n8n。對於 Docker 安裝，請使用以下命令：

docker run -it --rm \
  --env GENERIC_NEXT_PUBLIC_N8N_API_URL="http://localhost:5678/" \
  --env N8N_BASIC_AUTH_USER="yourusername" \
  --env N8N_BASIC_AUTH_PASSWORD="yourpassword" \
  -p 5678:5678 n8n

安裝完成後，您可以通過在網頁瀏覽器中導航至 http://localhost:5678 來訪問 n8n。

步驟 2：安裝 Crawl4AI

對於 Crawl4AI，您需要遵循以下步驟：

  1. 克隆倉庫： 從 GitHub 克隆 Crawl4AI 倉庫：

    git clone https://github.com/crawl4ai/crawl4ai.git
cd crawl4ai

  2. 設置環境： 確保您已安裝 Docker，以便輕鬆部署 Crawl4AI。您可以在 Crawl4AI 文檔中找到 Docker 設置說明。

  3. 運行服務： 安裝完成後，您可以運行 Crawl4AI 服務：

    docker-compose up

步驟 3：配置 n8n 使用 Crawl4AI

在兩個服務運行後，現在是時候將 Crawl4AI 整合到 n8n 工作流程中。以下是操作步驟：

  1. 創建新工作流程： 在 n8n 中，點擊「新工作流程」以開始構建您的自動化工作流程。

  2. 添加 Webhook 觸發器： 使用「Webhook」節點來觸發工作流程，當特定 URL 被訪問時。使用唯一的 URL 配置 webhook 設置。

  3. 添加 HTTP 請求節點： 下一步是添加「HTTP 請求」節點以連接到您的 Crawl4AI 服務。配置此節點時，將方法設置為 POST，並輸入 Crawl4AI 所在的端點 URL（例如，http://localhost:11235/crawl）。

  4. 構建 JSON 負載： 自定義發送到 Crawl4AI 的負載。以下是一個 JSON 結構的範例：

    {
    "urls": ["https://example.com"],
    "extraction_config": {
        "type": "llm",
        "params": {
            "provider": "openai/gpt-4",
            "api_token": "<your-openai-api-token>",
            "instruction": "Extract the main content from the webpage."
        }
    }
}

  5. 連接節點： 將 Webhook 觸發器連接到 HTTP 請求節點。這將允許工作流程在 webhook 被觸發時執行擷取。

  6. 添加響應節點： 最後，包含一個「響應」節點，以便在 Crawl4AI 處理請求後將結果發送回來。

測試您的工作流程

一旦一切配置完成，您就可以測試您的工作流程。通過向指定的 URL 發送請求來觸發 webhook，並監控 n8n 工作流程以查看 HTTP 請求是否成功從 Crawl4AI 獲取數據。

預期結果

如果配置正確，Crawl4AI 的響應將顯示從指定網頁擷取的內容。然後，您可以在 n8n 中進一步處理這些數據，根據您的項目需求將其保存到數據庫或發送通知。

網頁擷取的倫理最佳實踐

雖然網頁擷取可以是一個強大的工具，但遵循倫理實踐是很重要的：

  • 檢查 robots.txt： 在擷取網站之前，始終檢查其 robots.txt 文件，以查看哪些部分可以或不能被爬取。
  • 尊重速率限制： 注意您從網站請求數據的頻率，以避免過載其伺服器。
  • 提供來源標註： 如果您公開使用擷取的內容，請確保提供原始來源的標註。

結論

將 n8n 與 Crawl4AI 整合使任何人都能夠構建複雜的網頁擷取解決方案，而無需程式碼技能。這種無程式碼的方法提供了巨大的靈活性和易用性，使得用戶能夠有效地收集和利用數據。通過遵循本教學，您應該擁有一個功能正常的工作流程，並可以進一步自定義以滿足您的數據需求。

探索 n8n 和 Crawl4AI 的更多高級功能和能力，以提高您的生產力，充分利用您的網頁擷取項目。欲獲取更多資源和社區支持，請訪問 Crawl4AI 文檔 和 n8n 資源頁面。祝您擷取愉快！

專注全球VPS伺服器推薦。