CentOS 6.x 搭建:Headless Chrome + ChromeDriver + Selenium基於瀏覽器的爬蟲環境

【轉載請註明出處】：https://blog.csdn.net/huahao1989/article/details/107890747

Chrome官方網站已經說的很清楚，不再支持6.x的CentOS，至少7以上。可是很多時候我們使用的服務器版本並不能隨便升級，即便已經很難受了，但是還得繼續使用低版本，裝起來那是真叫一個費勁，還好就是費勁一些，最終還是可以裝成功的。

什麼是 Headless Chrome

Headless Chrome 是 Chrome 瀏覽器的無界面形態，可以在不打開瀏覽器的前提下，使用所有 Chrome 支持的特性運行你的程序。相比於現代瀏覽器，Headless Chrome 更加方便測試 web 應用，獲得網站的截圖，做爬蟲抓取信息等。相比於出道較早的 PhantomJS，SlimerJS 等，Headless Chrome 則更加貼近瀏覽器環境。

CentOS版本

lsb_release -a

安裝selenium

安裝 Python 並配置好環境變量
shell輸入：python -V 出現對應版本號即安裝成功！

安裝 pip

python默認自帶 pip 在安裝目錄的scripts目錄下，自行配置至環境變量即可，配置好後shell輸入：`pip -V` 出現對應版本號即安裝成功！

安裝 selenium

shell輸入：`pip install selenium` 提示：Successfully installed selenium-即安裝成功！

python
>>>from selenium import webdriver
>>>driver = webdriver.Chrome()
>>>driver.get('https://www.baidu.com')

已經可以了，正常寫python腳本即可。

搭建環境時遇到的問題

1、/lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./chromedriver)

#查看系統版本
cat /etc/redhat-release 
#查看glibc支持的版本
strings /lib64/libc.so.6 |grep GLIBC_

wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 
wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 
tar -xvf  glibc-2.14.tar.gz 
tar -xvf  glibc-ports-2.14.tar.gz
mv glibc-ports-2.14 glibc-2.14/ports
mkdir glibc-2.14/build
cd glibc-2.14/build 
../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

安裝編譯過程中需要注意三點：

要將glibc-ports解壓到glibc目錄下
不能在glibc當前目錄下運行configure
加上優化開關，export CFLAGS="-g -O2 -march=i486"，否則會出現錯誤
在make install過程中可能會出現 nss_test1加載不了的情況，此時可以將加載libnss_test1.so.2的地方註釋掉，用grep "nss_test1" . -nr命令在 /glibc目錄下查找一下，加載的地方也不多（這只是一個測試nss的靜態庫，可以不要）

2、/lib64/libc.so.6: version `GLIBC_2.16' not found (required by ./chromedriver)

wget http://ftp.gnu.org/gnu/glibc/glibc-2.16.0.tar.gz 
wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.16.0.tar.gz 
tar -xvf  glibc-2.16.0.tar.gz 
tar -xvf  glibc-ports-2.16.0.tar.gz
mv glibc-ports-2.16.0 glibc-2.16.0/ports
mkdir glibc-2.16.0/build
cd glibc-2.16.0/build 
../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

報錯

Unmatched ( in regex; marked by  HERE in m/$( <-- HERE if $(abi-64-ld-soname),$(abi-64-ld-soname),ld/ at scripts/test-installation.pl line

可以參考解決辦法https://sourceware.org/bugzilla/attachment.cgi?id=6616&action=diff

glibc-2.16.0/Makefile

ifeq (,$(install_root))
      CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)
endif

改成

ifeq (,$(install_root))
     LD_SO=$(ld.so-version) CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)
endif

glibc-2.16.0/scripts/test-installation.pl

sub usage {
    print "Usage: test-installation [soversions.mk]\n";

上面添加

if ($ENV{LD_SO}) {
  $LD_SO = $ENV{LD_SO};
} else {
  $LD_SO= "";
}

sub usage {
    print "Usage: test-installation [soversions.mk]\n";

在

} else {
  if (/^ld\.so/) {
     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

上面添加

} elsif ($LD_SO ne "") {
    ($ld_so_name, $ld_so_version) = split ('\.so\.', $LD_SO);
} else {
  if (/^ld\.so/) {
     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

歡迎關注 “後端老鳥” 公眾號，接下來會發一系列的專題文章，包括Java、Python、Linux、SpringBoot、SpringCloud、Dubbo、算法、技術團隊的管理等，還有各種腦圖和學習資料，NFC技術、搜索技術、爬蟲技術、推薦技術、音視頻互動直播等，只要有時間我就會整理分享，敬請期待，現成的筆記、腦圖和學習資料如果大家有需求也可以公眾號留言提前獲取。由於本人在所有團隊中基本都處於攻堅和探路的角色，搞過的東西多，遇到的坑多，解決的問題也很多，歡迎大家加公眾號進群一起交流學習。

【轉載請註明出處】：https://blog.csdn.net/huahao1989/article/details/107890747

CentOS 6.x 搭建:Headless Chrome + ChromeDriver + Selenium基於瀏覽器的爬蟲環境

什麼是 Headless Chrome

CentOS版本

最新版本Google-Chrome安裝

指定yum源

安裝google-chrome

運行chrome

最新版本Chromedriver安裝

安裝selenium

搭建環境時遇到的問題

Leave a Reply Cancel reply