培訓(xùn)內(nèi)容:
課程大綱:
第一講網(wǎng)絡(luò)爬蟲基礎(chǔ)
1.什么是網(wǎng)絡(luò)爬蟲
2.瀏覽網(wǎng)頁的過程
3.URL的含義
4.環(huán)境的配置
第二講Python爬蟲基礎(chǔ)知識(shí)
1.Python爬蟲基礎(chǔ)學(xué)習(xí)
2.Pythonurllib和urllib2庫的用法
3.Python正則表達(dá)式
4.BeautifulSoup簡(jiǎn)介
5.爬蟲框架Scrapy
第三講Urllib庫的基本使用
1.網(wǎng)頁爬取示例
2.網(wǎng)頁爬取方法
3.構(gòu)造Requset
4.POST和GET數(shù)據(jù)傳送
第四講Urllib庫的高級(jí)用法
1.設(shè)置Headers
2.Proxy（代理）的設(shè)置
3.Timeout設(shè)置
4.HTTP的PUT和DELETE方法
5.使用DebugLog
第五講正則表達(dá)式
1.了解正則表達(dá)式
2.正則表達(dá)式的語法規(guī)則
3.正則表達(dá)式相關(guān)注解
4.PythonRe模塊
第六講BeautifulSoup的用法
1.BeautifulSoup的簡(jiǎn)介
2.BeautifulSoup安裝
3.創(chuàng)建BeautifulSoup對(duì)象
4.BeautifulSoup對(duì)象種類
5.遍歷文檔樹
第七講開始采集
1.遍歷單個(gè)域名
2.采集整個(gè)網(wǎng)站
3.通過互聯(lián)網(wǎng)采集
4.用Scrapy采集
5.幾個(gè)示例
第八講存儲(chǔ)數(shù)據(jù)和讀取文檔
1.媒體文件
2.把數(shù)據(jù)存儲(chǔ)到CSV
3.MySQL與Python整合
4.讀取純文本和CSV文檔
5.讀取Word和.docx
第九講自然語言處理基礎(chǔ)
1.概括數(shù)據(jù)
2.馬爾可夫模型
3.自然語言工具包
4.用NLTK做統(tǒng)計(jì)分析
5.用NLTK做詞性分析
第十講用爬蟲測(cè)試網(wǎng)站
1.測(cè)試簡(jiǎn)介
2.Python單元測(cè)試
3.Selenium單元測(cè)試
4.Python單元測(cè)試與Selenium單元測(cè)試的選擇
培訓(xùn)師介紹：
楊老師。
主要研究網(wǎng)絡(luò)信息分析以及云計(jì)算相關(guān)技術(shù)，長(zhǎng)期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的研究開發(fā)工作，主持和參與了多個(gè)國(guó)家和省部級(jí)基金項(xiàng)目，具有豐富的工程實(shí)踐及軟件研發(fā)經(jīng)驗(yàn)。