如何在Windows环境下构建python爬虫环境

1、安装python，这里选择python 2.7版本可以到python的官网下载对应的版本包然后执行，安装提示完成安装。安装好后，还需要将python的安装目录如C:\Python27添加到系统变量中，这样在cmd窗口中直接输入python即可运行python命令

2、安装setuptools,使用如下命令系统自动下载并安装setuptoolsC:\Python27\Scripts>python -m pip install -U pip setuptools

3、安装Zope.Interface，扩展python 接口的模型1）在网站上下载安装包：zope.interf锾攒揉敫ace-4.3.3.win-amd64-py2.7.exe2）执行安装包完成Zope.Interface的安装；3）在python命令行中执行导入命令，如果没有出错则表示安装成功>>> import zope.interface

4、安装Twisted，提供事件驱动的网络引擎使用如下命令会自动下载依赖关系包并完成twisted的下载和安装C:\Python27\Scripts>python -m pip install -U pip twisted

5、安装w3lib库，提供web功能函数库，可使用如下名下载并安装w3libC:\Python27\Scripts>python -m pip install -U pip w3lib

6、安装pyOpenSSL,可以使用如下命令安装：C:\Python27\Scripts>python -m pip install -U pip pyOpenSSL

7、下载安装VCForPython27.msi ，在安装libxml2库时需要使用VC的编译环境

8、下载使用libxml2_python-2.9.3-cp27-none-win_amd64.whl 安装包，通过pip进行安装C:\霸烹钟爷Python27\Scripts>pip2.7.exe install D:\360极速浏览器下载\libxml2_python-2.9.3-cp27-none-win_amd64.whlProcessing d:\360???????\libxml2_python-2.9.3-cp27-none-win_amd64.whlInstalling collected packages: libxml2-pythonSuccessfully installed libxml2-python-2.9.3

9、安装libxml2库，提供xml的xpath解析功能使用一些命令安装：C:\Python27\Scripts>pyt茑霁酌绡hon -m pip install -U pip lxml如果提示出错如下则表示需要安装步骤7： ERROR: 'xslt-config' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 error: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27

10、最后就可以安装scrapyC:\Python27\Scripts>python -m pip install -U pipscrapy