爬虫软件开发-带你开发网络爬虫

大家好，我是你的好朋友斯玛特。今天就来聊聊Python爬虫入门教程：爬老板直接招聘数据并做可视化展示，希望你的编程成就更进一步

本文文字及图片来源于网络，仅供学习、交流之用，不具有任何商业用途，如有任何疑问，请及时与我们联系处理。

基础开发环境

Python 3.8
Pycharm

相关模块的使用

from selenium import webdriver
import csv

安装Python并将其添加到环境变量中，pip安装所需的模块。

如图所示，硒通过Python进行控制，

然后允许Selenium控制浏览器并操纵浏览器，从而实现了使用Python对浏览器的间接操作。

兄弟们学习python，有时他们不知道如何学习它以及从哪里开始。掌握了一些基本的语法或者做了两个案例后，我不知道下一步该怎么走，也不知道如何学习更高级的知识。

所以对于这些大哥爬虫软件开发，我准备了大量的免费视频教程，PDF电子书，还有视频源的源码！

还会有大佬的答案！

这一切都在这个组中[点击我进入Python学习沟通裙子]。

欢迎加入，一起讨论 一起学习！

Selenium究竟如何操纵浏览器？多亏了浏览器驱动程序，Selenium可以通过API接口与浏览器驱动程序进行交互，从而与浏览器进行交互。

因此，请配置浏览器驱动程序。

本教材中使用的版本：

火狐驱动程序：壁虎驱动程序 0.23.0 （2018-10-04）。

火狐驱动下载地址：

谷歌驱动程序： 铬驱动程序 71.0.3578.33

谷歌司机下载地址：

配置浏览器驱动程序：解

压下载的浏览器驱动，将解压缩的exe文件放在Python安装目录下，即.exe与Python相同的目录。

代码实现

from selenium import webdriver

import csv
f = open("data.csv", mode="a", encoding="utf-8", newline="")
csv_writer = csv.DictWriter(f, fieldnames=[
    "标题",
    "地区",
    "薪资",
    "经验",
    "公司名",
    "公司领域",
    "福利",
    "详情页",
])
csv_writer.writeheader()

driver = webdriver.Chrome()
driver.get("https://www.zhipin.com/job_detail/?query=python&city=100010000&industry=&position=")
driver.implicitly_wait(10)
def get_job_info():
    lis = driver.find_elements_by_css_selector(".job-list li")
    for li in lis:
        # 标题
        title = li.find_element_by_css_selector(".job-name a").get_attribute("title")
        # 地区
        area = li.find_element_by_css_selector(".job-area").text
        # 薪资

        money = li.find_element_by_css_selector(".job-limit .red").text
        # 经验
        limit = li.find_element_by_css_selector(".job-limit p").text
        # exp = limit[0].text
        company_name = li.find_element_by_css_selector(".company-text .name a").text
        company_type = li.find_element_by_css_selector(".company-text p a").text
        desc = li.find_element_by_css_selector(".info-append .info-desc").text
        href = "https://www.zhipin.com/" + li.find_element_by_css_selector(".job-name a").get_attribute("href")
        print(title, area, money, limit, company_name, company_type, desc, sep="|")
        dit = {
            "标题": title,
            "地区": area,
            "薪资": money,
            "经验": limit,

            "公司名": company_name,
            "公司领域": company_type,
            "福利": desc,
            "详情页": href,
        }
        csv_writer.writerow(dit)

数据可视化

只需获取前 10 页的数据内容爬虫软件开发，总共 300 条数据

每个区域的雇用人数

平均工资最高的地区

经验和教育需求图

招聘公司所在的区域