无人驾驶需要眼睛来认清路况和感知周围环境。摄像头、毫米波雷达、激光雷达、超声波雷达四种传感器，被称为无人驾驶的眼睛。
摄像头
唯一可以获取物体颜色、对比度 等细节图像信息设备，在识别物体方面具有明显优势。
激光雷达（100000GHZ 发射激光束）
距离最远和分辨率最高，但是在雨雪雾霾沙尘暴等天气受遮挡后无法使用，成本高，需要高算力芯片支撑。
毫米波雷达（30GHZ-300GHZ,主要采用振荡器，产生一个频率随时间逐渐增加的信号）
穿透能力强，分辨率高，能适应雨雪雾霾沙尘暴等天气，但是无法进行图像颜色识别，无法成像，需要摄像头进行互补使用。
超声波雷达（20000GHZ 通过超声波发射装置发射超声波）
频率低，消耗能量低，测距方法简单，成本低。探测范围在0.1米~3米时间精度高，因此非常适合用于泊车。但是传输速度很容易受天气影响，超声波散射角大，方向差，在测量远距离目标时精度很差。
标准体系建设
智能网联汽车是一项系统工程，涉及到智能网联汽车、信息通信、电子产品与服务、智能交通、车辆智能管理五大部分。智能网联汽车标准体系包括基础、通用规范、产品与技术应用、相关标准四大部分。
汽车智能化分成五个等级：驾驶辅助（DA），部分自动驾驶（PA），有条件自动驾驶（CA），高度自动驾驶（HA）,完全自动驾驶（FA）
汽车网联分成三个等级：网联辅助信息交互，网联协同感知、网联协同决策与控制
机器学习(machine learning)
不同机器学习的分类，对数学方法构建模型训练的算法各不一样，一般机器学习可以分成四大类：
监督学习：让机器做选择题，同时提供答案，机器努力训练模型，希望预测的答案与标准答案一致
无监督学习：让机器做选择题，但不提供答案，机器努力分析题目的关系，对题目分类，机器不知道标准答案，但是认为每一类题答案相同
强化学习：让机器做选择题，但是不提供答案，会有第三方老师判定是否正确，对的越多，奖励越多；机器努力训练模型，希望答案能获得更多奖励（达到目标的正向反馈）
迁移学习：把机器已经训练好的模型迁移到新模型来帮助训练。
深度学习（deep learning）
深度学习是机器学习的一个分支，主要优势在于特征提取，自动学习提取特征，减少人为涉及特征造成的不完备性。深度学习的基础感知机（percetron）类似一个神经元，有树突和轴突，树突负责数据输入，轴突负责根据输入是否超过一定的阈值决定是否传递兴奋。简单的神经网络的逻辑结构分成输入层（负责接收信号）、隐藏层（负责对数据进行处理）和输出层（负责处理结果整合）。若干个节点组成一个层、若干层组成一个网络，组成神经网络。
机器学习擅长分析维度比较低、层次比较少的任务，深度学习擅长分析维度比较高、多层次的数据比如图像、语音等。
业界流传:数据和特征决定机器学习的上限，而模型和算法只是逼近这个上限而已。
谷歌无人驾驶
2009年成立无人驾驶团队，第一代就是在传统汽车基础上，增加功能设定，能在简单路况下进行自主操作；第二代专注软件和算法，加强了复杂路况环境的感知能力，能主动对障碍物进行评估和主动调整。第三代取名萤火虫firefiy 无方向盘、无刹车、无油门、纯电动，加入可穿戴智能设计芯片实现手势和人工干预。
无人驾驶分级
美国主要车企直接跳过L3级别进入L4级别无人驾驶，因为L3级别自动驾驶是由汽车控制，需要人工频繁切换接管，存在人机责任明确划分的问题，与其耗费大量精力投入过渡阶段，不如直接研发不会频繁交接的L4/L5级别。L3级别情况下，出现事故与驾驶员仍然有关。
无人驾驶汽车过渡ADAS
ADAS 即使高级驾驶辅助系统，覆盖L1/L2级别功能，目前已经实现量产和商业落地，是辅助驾驶走向自动驾驶的基础。原理就是通过传感器手机车内外的环境信息，对收集到的数据进行处理，实现对驾驶员、车辆、环境的检测、辨识、追踪，同时通过警告或者主动控制等方式辅助驾驶员执行驾驶任务。所以ADAS系统包含了“传感器--控制器--执行器”三大部分。
辅助控制中英文对照表
AEB 自动紧急制动
EBA 紧急制动辅助
AES 自动紧急专项
ESA 紧急专项辅助
ISLC 智能限速控制
LKA 车道保持辅助
LCC 车道居中控制
LDP 车道偏离抑制
IPA 智能泊车辅助
ACC 自适应巡航控制
FSRA 全速自适应巡航控制
TJA 交通拥堵辅助
AMAP 加速踏板防误踩
ADB 自适应远光灯
AFS 自适应前照明
无人驾驶大脑--人工智能
人工智能理论框架---三大主义
符号主义（专家主义)
人工智能之父，约翰.麦卡锡发明表处理语言LISP使计算机不仅可以处理数据，还可以处理符号。符号主义的核心思想：人工智能源于数理逻辑，智能的本质就是符号的操作和运算，物理符号系统如果具有输入、输出、存储、复制、建立结构和条件性迁移六种功能就是智能系统。符号主义特别适用于自动推导、定理证明、机器博弈、自然语言处理等问题。
符号主义因无法处理不确定事物和常识问题，后面专家系统之父，费根鲍姆提出知识工程，设计基于专家知识的系统，机器使用系统中的知识进行推理解决问题。知识工程提出使人工智能从理论走向应用。
连接主义（神经网络）
知识工程无法处理交互和拓展问题，且只适合建立窄域专家系统，无法推广到大规模复杂系统。连接主义核心思想：思维的基元是神经元而不是符号，思维的过程是神经元的连接活动过程，反对符号主义关于物理系统的假设。
行为主义(智能主体)
行为主义核心：智能主体取决于感知和行为，取决于对外界复杂环境的自适应，智能主体不需要知识、表示、推理，智能主体可以像人类一样进化，分阶段发展和增强。
赋能无人驾驶
算力+算法+大数据+场景是推动人工智能技术进步和产业发展的四大要素。算力为人工智能提供了计算支撑，算法是实现人工智能的根本途径，大数据是人工智能的基础，或者说是“石油”，只有应用场景进行输出，才能发挥人工智能的价值。
| 芯片类型 | 优点 | 缺点 |
|---|---|---|
| CPU | 擅长处理逻辑控制、串行运算、技术成熟、协调能力强 | 不擅长复杂算法运算和处理并行操作，算力较低 |
| GPU | 可支撑大量并行计算，算力较高 | 功耗高、AI算力低于FPGA |
| FPGA | 算力较高、灵活性高 | AI算力低于ASIC，开发难度大，价格昂贵 |
| ASIC(TPU/NPU) | 针对特殊性需求实现，体积小、重量轻、功耗低，性能高 | 灵活性差，前期投入大 |
无人驾驶汽车主要使用SOC芯片，集成了CPU\GPU\DSP（数字信号处理器）\NPU（神经网络处理器）等各类型芯片，加上外设接口，存储单元等。
CPU负责计算和整体协调，可用于定位、路径规划、自动避障、控制等
GPU用于目标识别和深度学习任务
DSP用于图片处理和特征提取
FPGA用于传感器融合、目标跟踪、路况预测等
NPU负责和人工智能深度学习计算相关的部分。
TPU 张量处理器，本质上是基于神经网络处理的专用ASIC(专用集成电路)
目前由代表性的SOC芯片主要用于智能驾驶、智能座舱、中央网关（实现车内互联互通）三个领域。
算法在无人驾驶汽车的应用
无人驾驶汽车包含感知、定位、预测、规划、导航、控制六个模块。
感知模块（perception）主要包括物体检测识别和交通信号灯检测识别两个部分。物体检测识别，即输入摄像头图像数据（卷积神经网络 CNN算法）、激光雷达的点云数据（卷积神经网络 CNN算法）、毫米波雷达数据（噪点去除、检测结果构建和ROI过滤）、输出三种传感器融合之后的物体具体信息，位置、形状、类别、速度、朝向等。交通信号灯检测识别基于卷积神经网络 CNN算法输出单张信号灯状态，再通过时序滤波矫正算法确认信号灯的最终状态。为保证数据准确性会经历预处理、融合、后处理再确认的过程。
定位模块（localization）核心是融合架构，包含惯性导航解算（将激光雷达点云定位输出、GNSS导航定位输出、IMU导航输出进行坐标转换统一）和卡尔曼滤波（误差修正）两种算法，主要目的是将定位模块中各架构的数据进行融合处理。
预测模块（prediction）从感知模块和定位模块得到自身物体识别信息、定位信息、环境信息、交通信息，最终输出具有概率的物体运动预测轨迹。先对物体分类，针对不同分类，采用不同预测算法处理。
规划模块（planning）某个时刻汽车位置的轨迹，本质上是一个时间到位置的函数。apollo采用先确认路径再计算速度分配的策略，将问题转化成路径规划（分段加加速度优化算法）和速度规划（启发式速度规划和分段加加速度算法）。
导航模块（routing）起点到终点的最优路径，关注整体规划，不需要考虑当前路况障碍物等，采用Dijkstra算法和A*算法。
控制模块（control）根据规划模块生成轨迹，计算无人车加速、减速、转向，实现汽车最终控制。主要包括纵向控制（速度，PID控制和MPC模型预测控制）和横向控制（转向，LQR线性二次调节器和MPC模型预测控制）两类。
不同芯片优缺点比对
大数据
大数据产业包括采集和整合、数据处理和存储、数据分析和挖掘、数据应用和消费四大主要环节。
核心流程：通过技术手段从互联网、终端、物联网等采集数据，然后把数据按照一定的规模进行处理并存储，再按需求调用数据，通过人工智能算法进行分析和挖掘，将数据转化成有价值的信息或产品，为不同领域的决策支持、效率提升、产品创新提供依据。
无人驾驶数据标注
数据标注：对传感器感知到的原始数据进行框选、提取、分类等一系列处理，转化成可识别的专业数据。经过标注的数据才能被使用，主要包含下面八个类别：
3D点云（框选雷达图中所有可移动物体）、Trace ID（对障碍物标注ID进行追踪）、freespace(对可行驶区域进行标注、边界线切割、道路语义分割)、人体、车辆、车道线、交通标志、人脸（驾驶员状态）。
无人驾驶应用场景
封闭场景物流或者通勤：已经具备商业应用基本条件
无人配送：小批量生产和测试
干线物流：与人类司机协作
