---

---

---

---

---

北京四维图新科技股份有限公司2月招聘面试题面试题面试官常问到的一些题目整理如下：问题 Q1： scrapy分为几个组成部分？分别有什么作用？可用的回答 ： 分为5个部分； 1. Spiders(爬虫类) 2. Scrapy Engine(引擎) 3. Scheduler(调度器) 4. Downloader(下载器) 5. Item Pipeline(处理管道) 具体来说： Spiders:开发者自定义的一个类，用来解析网页并抓取指定url返回的内容。 Scrapy Engine:控制整个系统的数据处理流程，并进行事务处理的触发。 Scheduler：接收Engine发出的requests，并将这些requests放入到处理列队中，以便之后engine需要时再提供。 Download：抓取网页信息提供给engine，进而转发至Spiders。 Item Pipeline:负责处理Spiders类提取之后的数据。 比如清理HTML数据、验证爬取的数据(检查item包含某些字段)、查重(并丢弃)、将爬取结果保存到数据库中 问题 Q2：如何提高爬取效率？可用的回答 ： 爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回 1，采用异步与多线程，扩大电脑的cpu利用率； 2，采用消息队列模式 3，提高带宽 问题 Q3：简述一下爬虫的步骤？可用的回答 ： 确定需求； 确定资源； 通过url获取网站的返回数据； 定位数据； 存储数据。 问题 Q4：什么是Python pass？可用的回答 ：pass意味着，无操作的Python语句，或者换句话说，它是复合语句中的占位符，其中应该留有空白，并且不必在那里写入任何内容。问题 Q5：如何删除python数组的值？可用的回答 ：可以使用pop()或remove()方法删除数组元素。这两个函数之间的区别在于前者返回已删除的值，而后者则不返回。问题 Q6：:-1表示什么？可用的回答 ：:-1用于反转数组或序列的顺序。问题 Q7：什么是socket？简述基于tcp协议的套接字通信流程？可用的回答 ： 套接字： 也称为BSD套接字，是支持TCP/IP的网络通信的基本操作单元， 可以看做是不同主机之间的进程进行双向通信的端点， 简单的说就是通信的两方的一种约定，用套接字中的相关函数来完成通信过程。 应用层通过传输层进行数据通信时，TCP和UDP会遇到同时为多个应用程序进程提供并发服务的问题 通信流程： 1. 服务器先用 socket 函数来建立一个套接字,用这个套接字完成通信的监听。 2. 用 bind 函数来绑定一个端口号和 IP 地址。 因为本地计算机可能有多个网址和 IP,每一个 IP 和端口有多个端口。需要指定一个 IP和端口进行监听。 3. 服务器调用 listen 函数,使服务器的这个端口和 IP 处于监听状态,等待客户机的连接。 4. 客户机用 socket 函数建立一个套接字,设定远程 IP 和端口。 5. 客户机调用 connect 函数连接远程计算机指定的端口。 6. 服务器用 accept 函数来接受远程计算机的连接,建立起与客户机之间的通信。 7. 建立连接以后,客户机用 write 函数向 socket 中写入数据。也可以用 read 函数读取服务器发送来的数据。 8. 服务器用 read 函数读取客户机发送来的数据,也可以用 write 函数来发送数据。 9. 完成通信以后, 用 close 函数关闭 socket 连接。 问题 Q8：什么是Python中的迭代器？可用的回答 ：在Python中，迭代器用于迭代一组元素，如列表之类的容器。问题 Q9：什么又是yield from呢？可用的回答 ：简单地说，yield from generator 。实际上就是返回另外一个生成器。问题 Q10：数据库的优化？可用的回答 ： 1. 优化索引、SQL 语句、分析慢查询； 2. 设计表的时候严格根据数据库的设计范式来设计数据库； 3. 使用缓存，把经常访问到的数据而且不需要经常变化的数据放在缓存中，能节约磁盘IO； 4. 优化硬件；采用SSD，使用磁盘队列技术(RAID0,RAID1,RDID5)等； 5. 采用MySQL 内部自带的表分区技术，把数据分层不同的文件，能够提高磁盘的读取效率； 6. 垂直分表；把一些不经常读的数据放在一张表里，节约磁盘I/O； 7. 主从分离读写；采用主从复制把数据库的读操作和写入操作分离开来； 8. 分库分表分机器（数据量特别大），主要的的原理就是数据路由； 9. 选择合适的表引擎，参数上的优化； 10. 进行架构级别的缓存，静态化和分布式； 11. 不采用全文索引； 12. 采用更快的存储方式，例如 NoSQL存储经常访问的数据 算法题面试官常问到的一些算法题目整理如下（大概率会机考）：算题题 A1：3数相加题目描述如下：Given an array nums of n integers, are there elements a, b, c in nums such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:The solution set must not contain duplicate triplets.Example:Given array nums = -1, 0, 1, 2, -1, -4,A solution set is: -1, 0, 1, -1, -1, 23sum。a + b + c = 0.1. 第一次尝试首先是减去一个数，然后剩下的用twoSum的二分法做判断进行查找，结果非常慢。TLE.2. 学习了一波 O(n) 的算法:start-+ -end当等于之后，还有可能存在同样会相等的数：我们预先去重了，所以是唯一的，start和end同时朝着各自的方向进1就可以。然后就是去重问题：在非0的情况下，如果下标多于等于2个，则判断-2*A 是否在里面。在0的情况下，多于等于3个才可以。可做参考的解答如下：class Solution(object):

---

---

---

---

---

---

• JN0-332
• 铁路客运系统考试
• 纯碱生产工
• 中国石油处分规定考试
• 残疾人保障法知识竞赛
• 保险董事监事高管考试
• 台州市立医院制度知识
• 康复医学治疗技术基础知识
• 二级建造师继续教育
• 重症医学(医学高级)
• 神经内科(医学高级)
• 微生物检验(主管技师)相关专业知识
• 专技天下创新与实践知识竞赛
• 第十四章 肾上腺及肾脏、输尿管、膀胱
• 国际商务谈判
• 运动医学
• “学习贯彻习近平总书记在决战决胜脱贫攻坚座谈会上的重要讲话精神”专项答题（二）
• 容器规定
• 医学
• 心电学技术(主管技师)