• Go 的 fake-useragent 了解一下
    • 支持
    • 安装
    • 用法
      • 定制
    • 输出
    • 注意
    • 最后

    Go 的 fake-useragent 了解一下

    有的网站会根据 User-Agent 的不同，跳转到不同（PC、M）的站点，也有根据版本的不同给出不一样的提示等等，而 User-Agent 的变化更是爬虫里的基础姿势

    使用 Go 编写网络爬虫或需要模拟浏览器头（User-Agent）的时候，你是否会觉得很麻烦，获取请求头（Request Headers）的 User-Agent 还得找来找去，挺繁琐。先前我也遇到了这个问题，因此有了这个项目 fake-useragent，用来解决你我的痛点

    项目地址：https://github.com/EDDYCJY/fake-useragent

    支持

    • All User-Agent Random
    • Chrome
    • InternetExplorer (IE)
    • Firefox
    • Safari
    • Android
    • MacOSX
    • IOS
    • Linux
    • IPhone
    • IPad
    • Computer
    • Mobile

    安装

    1. $ go get github.com/EDDYCJY/fake-useragent

    用法

    1. package main
    3. import (
    4.     "log"
    6.     "github.com/EDDYCJY/fake-useragent"
    7. )
    9. func main() {
    10.     // 推荐使用
    11.     random := browser.Random()
    12.     log.Printf("Random: %s", random)
    14.     chrome := browser.Chrome()
    15.     log.Printf("Chrome: %s", chrome)
    17.     internetExplorer := browser.InternetExplorer()
    18.     log.Printf("IE: %s", internetExplorer)
    20.     firefox := browser.Firefox()
    21.     log.Printf("Firefox: %s", firefox)
    23.     safari := browser.Safari()
    24.     log.Printf("Safari: %s", safari)
    26.     android := browser.Android()
    27.     log.Printf("Android: %s", android)
    29.     macOSX := browser.MacOSX()
    30.     log.Printf("MacOSX: %s", macOSX)
    32.     ios := browser.IOS()
    33.     log.Printf("IOS: %s", ios)
    35.     linux := browser.Linux()
    36.     log.Printf("Linux: %s", linux)
    38.     iphone := browser.IPhone()
    39.     log.Printf("IPhone: %s", iphone)
    41.     ipad := browser.IPad()
    42.     log.Printf("IPad: %s", ipad)
    44.     computer := browser.Computer()
    45.     log.Printf("Computer: %s", computer)
    47.     mobile := browser.Mobile()
    48.     log.Printf("Mobile: %s", mobile)
    49. }

    定制

    你可以调整抓取数据源的最大页数、时间间隔以及最大超时时间。 如果不填写，则为默认值。

    1. client := browser.Client{
    2.     MaxPage: 3,
    3.     Delay: 200 * time.Millisecond,
    4.     Timeout: 10 * time.Second,
    5. }
    6. cache := browser.Cache{}
    7. b := browser.NewBrowser(client, cache)
    9. random := b.Random()

    更新浏览器头的临时文件缓存

    1. client := browser.Client{}
    2. cache := browser.Cache{
    3.     UpdateFile: true,
    4. }
    5. b := browser.NewBrowser(client, cache)

    最后，建议常规用法就好，默认参数能够满足日常需求

    输出

    1. Random: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36
    3. Chrome: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
    5. IE: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)
    7. Firefox: Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0
    9. Safari: Mozilla/5.0 (iPhone; CPU iPhone OS 11_2_5 like Mac OS X) AppleWebKit/604.5.6 (KHTML, like Gecko) Version/11.0 Mobile/15D60 Safari/604.1
    11. Android: Mozilla/5.0 (Linux; Android 6.0; MYA-L22 Build/HUAWEIMYA-L22) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36
    13. MacOSX: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0.1 Safari/602.2.14
    15. IOS: Mozilla/5.0 (iPhone; CPU iPhone OS 10_1 like Mac OS X) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0 Mobile/14B72 Safari/602.1
    17. Linux: Mozilla/5.0 (X11; Linux x86_64; rv:42.0) Gecko/20100101 Firefox/42.0
    19. IPhone: Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Version/10.0 Mobile/14C92 Safari/602.1
    21. IPad: Mozilla/5.0 (iPad; CPU OS 5_0_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A405 Safari/7534.48.3
    23. Computer: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0
    25. Mobile: Mozilla/5.0 (Linux; Android 7.0; Redmi Note 4 Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36

    注意

    如果第一次使用，fake-useragent 将收集数据并在临时目录中创建一个文件作为文件缓存，请耐心等待几秒钟

    最后

    如果在项目中发现了什么问题，欢迎提交 PR 或者 issue。希望你能够喜欢这个项目，根本目的还是为了解决痛点，欢迎 Star！?

    项目地址：https://github.com/EDDYCJY/fake-useragent