搜尋結果
2023年8月8日 · 3 位在美國與新加坡、有豐富數據與 AI 領域經驗專家管其毅、Angus 與 Koo，帶大家瞭解「數據治理」是什麼？對企業為什麼重要？如何開始執行？不同產業有什麼挑戰？ChatGPT 問世後「數據治理」又有什麼轉變與新挑戰？如何減少 bias (偏見) 並降低企業風險？
- 什麼是爬蟲？
- 爬蟲的基本工作流程
- 以股票為例的python爬蟲教學
- 結語
網路爬蟲（Web Crawler），也稱作網路蜘蛛（spider）、機器人（bot）或自動索引器，是一種自動瀏覽世界廣網的網際網路機器人。網路爬蟲的主要功能是抓取網頁資料，並從這些資料中提取有用資訊或索引，讓用戶能夠輕易地檢索這些資訊。
爬蟲的基本工作流程可以分為以下四個步驟： 1. 發送HTTP請求：爬蟲首先會向目標網站的伺服器發送一個HTTP請求。這個請求通常是GET請求，目的是取得網頁的內容。 2. 接收並解析響應：伺服器收到請求後，會返回一個HTTP響應。這個響應中包含了網頁的HTML內容。爬蟲收到響應後，會解析HTML，找出需要的數據。 3. 提取數據：爬蟲解析HTML後，會使用特定的規則（例如XPath或CSS選擇器）來提取出需要的數據。 4. 儲存數據：提取出的數據通常會被儲存到一個數據庫或一個檔案中。
下面，我們將以股票數據為例，實戰演示如何用Python和requests、BeautifulSoup兩個函式庫實現一個簡單的爬蟲。我們將抓取Yahoo財經的股票價格數據。 首先，我們需要安裝requests和BeautifulSoup兩個函式庫。我們可以使用pip命令來安裝： 接著，我們將發送一個HTTP GET請求至目標網站，然後使用BeautifulSoup來解析返回的HTML內容。 現在，我們已經有了網頁的HTML內容，接下來就是找到我們需要的數據，也就是股票價格所在的HTML元素。 我們可以打開瀏覽器，前往Yahoo財經的蘋果公司股票頁面，然後找到顯示股票價格的部分，右鍵點擊並選擇檢查元素。這會打開瀏覽器的開發者工具，並且會高亮顯示我們右鍵點擊的HTML元素。 在這個例子中，我們看到...
本文介紹了Python爬蟲的基本概念和工具，並以股票數據為例，提供了一個實戰教學。希望透過這個教學，你可以對Python爬蟲有一個初步的理解，並能夠開始你的Python爬蟲學習之旅。 網路爬蟲是一個非常強大的工具，可以讓我們獲取大量的網路數據。但是，也要注意，我們在使用爬蟲的時候，必須尊重網站的使用規則，並避免對網站伺服器造成過大的負荷。 最後，祝你在Python爬蟲的學習路途上順利！
2023年4月29日 · Jupyter 插件或擴充功能能夠增強 Notebook 的各種功能，包括但不限於程式碼摺疊、目錄生成、高亮顯示等。. Nbextensions ：提供了許多用戶界面擴充功能。. 安裝指令 ：. pip install jupyter_contrib_nbextensions. jupyter contrib nbextension install --user. 使用 ： 打開 Jupyter Notebook ...
隨著各種服務數位化，企業坐擁大量數據，從數據延伸的技術，已經一步步實現在各種產品與產業應用中；無論你是行銷人、產品經理、客服人員、設計師等⋯⋯，你都會接觸到數據。這堂課程從數據分析的思維開始，認識什麼是資料、如何描述資料，使用 Excel 處理上萬筆資料，再到透過實際的 ...
2024年2月26日 · 微軟的研究結果發現，RAG 和微調模型確實都能讓 LLMs 的回答變得更為精準：與 GPT-4 的基本模型相比，RAG 的精準度增加的 5%、微調的精準度增加 6%，而微調模型搭配 RAG 的精準度則增加 11%。. 由此可見，RAG 可以用較低的訓練成本達到與微調模型差不多的表現，且 ...
如何開始 side project. 新手轉職工程師，如何做出好的side project 或作品集？. 這篇幫你整理好了side project的建議懶人包，從範例、想法到練習，幫助你了解如何開始side project與做好作品集的呈現。. 關於工程師「如何做作品集/side project」這件事，實在有太多人都講 ...
2023年11月8日 · 什麼是LangChain？ LangChain是一個旨在為開發者提供一套工具和接口，以便更容易、更有效地利用大型語言模型（LLM）的開源框架，專注於情境感知和推理。它包含多個組件，如Python和JavaScript的函式庫、快速部署的模板、用於開發REST API的LangServe，以及用於除錯和監控的LangSmith。
