框架安装
# 框架安装
# 目标
- 了解
setup.py的编写 - 掌握制作模块的方法
# 1 安装框架的目的
利用setup.py将框架安装到python环境中，在编写爬虫时候，作为第三方模块来调用，
# 2 框架安装第一步：完成setup.py的编写
- 以下代码相当于一个模板，只用更改name字段出，改为对应的需要安装的模块名称就可以，比如这里是：scrapy_plus
- 将setup.py文件放到scrapy_plus的同级目录下
from os.path import dirname, join
# from pip.req import parse_requirements
from setuptools import (
find_packages,
setup,
)
def parse_requirements(filename):
""" load requirements from a pip requirements file """
lineiter = (line.strip() for line in open(filename))
return [line for line in lineiter if line and not line.startswith("#")]
with open(join(dirname(__file__), './VERSION.txt'), 'rb') as f:
version = f.read().decode('ascii').strip()
setup(
name='scrapy-plus', # 模块名称
version=version,
description='A mini spider framework, like Scrapy', # 描述
packages=find_packages(exclude=[]),
author='itcast',
author_email='your@email.com',
license='Apache License v2',
package_data={'': ['*.*']},
url='#',
install_requires=parse_requirements("requirements.txt"), # 所需的运行环境
zip_safe=False,
classifiers=[
'Programming Language :: Python',
'Operating System :: Microsoft :: Windows',
'Operating System :: Unix',
'Programming Language :: Python :: 2.7',
'Programming Language :: Python :: 3.4',
'Programming Language :: Python :: 3.5',
'Programming Language :: Python :: 3.6',
],
)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
注意： 上面代码中可能会报错需要额外安装packaging模块，更新setuptools
pip install packagingpip install --upgrade setuptools
pip.req可能不存在，对应的可以：
def parse_requirements(filename):
""" load requirements from a pip requirements file """
lineiter = (line.strip() for line in open(filename))
return [line for line in lineiter if line and not line.startswith("#")]
1
2
3
4
2
3
4
# 3 框架安装第二步：完成requirements.txt的编写
# 功能：
- 写明依赖环境所支持的模块及其版本
# 使用：
- 在setup.py中使用
- 放置在setup.py同级目录下
requests>=2.18.4
six>=1.11.0
1
2
2
# 4 框架安装第三步：完成VERSION.txt的编写
# 功能：
- 标明当前版本，一个合格的模块，应当具备相应的版本号
# 使用：
- 在setup.py中使用
- 放置在setup.py同级目录下
1.0
1
# 5 框架安装第四步：执行安装命令
步骤：
- 切换到对应需要python虚拟环境下
- 切换到setup.py所在目录
- 在终端执行
python setup.py install
# 小结
- 掌握安装模块的方法
编辑 (opens new window)