CarND-Advanced-Lane-Lines-master（1）.zip_lines_python_图像处理_视频车道线_

## **车道检测(Advanced Lane Finding Project)** [](http://www.udacity.com/drive) 实现步骤: * 使用提供的一组棋盘格图片计算相机校正矩阵(camera calibration matrix)和失真系数(distortion coefficients). * 校正图片 * 使用梯度阈值(gradient threshold)，颜色阈值(color threshold)等处理图片得到清晰捕捉车道线的二进制图(binary image). * 使用透视变换(perspective transform)得到二进制图(binary image)的鸟瞰图(birds-eye view). * 检测属于车道线的像素并用它来测出车道边界. * 计算车道曲率及车辆相对车道中央的位置. * 处理图片展示车道区域，及车道的曲率和车辆位置. [//]: # (Image References) [image1]: ./output_images/undistorted_example.png "Undistorted" [image2]: ./output_images/undistortion.png "Undistorted" [image3]: ./output_images/x_thred.png "x_thredx_thred" [image4]: ./output_images/mag_thresh.png [image5]: ./output_images/dir_thresh.png [image6]: ./output_images/s_thresh.png [image7]: ./output_images/combined_all.png [image8]: ./output_images/trans_on_test.png [image9]: ./output_images/perspective_tran.png [image10]: ./output_images/histogram.png [image11]: ./output_images/sliding_window_search.png [image12]: ./output_images/pipelined.png [video1]: ./vedio_out/project_video_out.mp4 "Video" #### 相机校正(Camera Calibration) 这里会使用opencv提供的方法通过棋盘格图片组计算相机校正矩阵(camera calibration matrix)和失真系数(distortion coefficients)。首先要得到棋盘格内角的世界坐标"object points"和对应图片坐标"image point"。假设棋盘格内角世界坐标的z轴为0，棋盘在(x,y)面上，则对于每张棋盘格图片组的图片而言，对应"object points"都是一样的。而通过使用openCv的cv2.findChessboardCorners()，传入棋盘格的灰度(grayscale)图片和横纵内角点个数就可得到图片内角的"image point"。 ``` def get_obj_img_points(images,grid=(9,6)): object_points=[] img_points = [] for img in images: #生成object points object_point = np.zeros( (grid[0]*grid[1],3),np.float32 ) object_point[:,:2]= np.mgrid[0:grid[0],0:grid[1]].T.reshape(-1,2) #得到灰度图片 gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #得到图片的image points ret, corners = cv2.findChessboardCorners(gray, grid, None) if ret: object_points.append(object_point) img_points.append(corners) return object_points,img_points ``` 然后使用上方法得到的`object_points` and `img_points` 传入`cv2.calibrateCamera()` 方法中就可以计算出相机校正矩阵(camera calibration matrix)和失真系数(distortion coefficients)，再使用 `cv2.undistort()`方法就可得到校正图片。 ``` def cal_undistort(img, objpoints, imgpoints): ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, img.shape[1::-1], None, None) dst = cv2.undistort(img, mtx, dist, None, mtx) return dst ``` 以下为其中一张棋盘格图片校正前后对比： ![alt text][image1] #### 校正测试图片 代码如下： ``` #获取棋盘格图片 cal_imgs = utils.get_images_by_dir('camera_cal') #计算object_points,img_points object_points,img_points = utils.calibrate(cal_imgs,grid=(9,6)) #获取测试图片 test_imgs = utils.get_images_by_dir('test_images') #校正测试图片 undistorted = [] for img in test_imgs: img = utils.cal_undistort(img,object_points,img_points) undistorted.append(img) ``` 测试图片校正前后对比： ![alt text][image2] #### 阈值过滤(thresholding) 这里会使用梯度阈值(gradient threshold)，颜色阈值(color threshold)等来处理校正后的图片，捕获车道线所在位置的像素。(这里的梯度指的是颜色变化的梯度) 以下方法通过"cv2.Sobel()"方法计算x轴方向或y轴方向的颜色变化梯度导数，并以此进行阈值过滤(thresholding),得到二进制图(binary image)： ``` def abs_sobel_thresh(img, orient='x', thresh_min=0, thresh_max=255):    #装换为灰度图片 gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)    #使用cv2.Sobel()计算计算x方向或y方向的导数    if orient == 'x': abs_sobel = np.absolute(cv2.Sobel(gray, cv2.CV_64F, 1, 0)) if orient == 'y': abs_sobel = np.absolute(cv2.Sobel(gray, cv2.CV_64F, 0, 1))    #阈值过滤    scaled_sobel = np.uint8(255*abs_sobel/np.max(abs_sobel)) binary_output = np.zeros_like(scaled_sobel) binary_output[(scaled_sobel >= thresh_min) & (scaled_sobel <= thresh_max)] = 1 return binary_output ``` 通过测试发现使用x轴方向阈值在35到100区间过滤得出的二进制图可以捕捉较为清晰的车道线： ``` x_thresh = utils.abs_sobel_thresh(img, orient='x', thresh_min=35, thresh_max=100) ``` 以下为使用上面方法应用测试图片的过滤前后对比图： ![alt text][image3] 可以看到该方法的缺陷是在路面颜色相对较浅且车道线颜色为黄色时，无法捕捉到车道线（第三，第六，第七张图），但在其他情况车道线捕捉效果还是不错的。 接下来测试一下使用全局的颜色变化梯度来进行阈值过滤： ``` def mag_thresh(img, sobel_kernel=3, mag_thresh=(0, 255)): # Convert to grayscale gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY) # Take both Sobel x and y gradients sobelx = cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize=sobel_kernel) sobely = cv2.Sobel(gray, cv2.CV_64F, 0, 1, ksize=sobel_kernel) # Calculate the gradient magnitude gradmag = np.sqrt(sobelx**2 + sobely**2) # Rescale to 8 bit scale_factor = np.max(gradmag)/255 gradmag = (gradmag/scale_factor).astype(np.uint8) # Create a binary image of ones where threshold is met, zeros otherwise binary_output = np.zeros_like(gradmag) binary_output[(gradmag >= mag_thresh[0]) & (gradmag <= mag_thresh[1])] = 1 # Return the binary image return binary_output ``` ``` mag_thresh = utils.mag_thresh(img, sobel_kernel=9, mag_thresh=(50, 100)) ``` ![alt text][image4] 结果仍然不理想(观察第三，第六，第七张图片)，原因是当路面颜色相对较浅且车道线颜色为黄色时，颜色变化梯度较小，想要把捕捉车道线需要把阈值下限调低，然而这样做同时还会捕获大量的噪音像素，效果会更差。 那么使用颜色阈值过滤呢？ 下面为使用hls颜色空间的s通道进行阈值过滤： ``` def hls_select(img,channel='s',thresh=(0, 255)): hls = cv2.cvtColor(img, cv2.COLOR_RGB2HLS) if channel=='h': channel = hls[:,:,0] elif channel=='l': channel=hls[:,:,1] else: channel=hls[:,:,2] binary_output = np.zeros_like(channel) binary_output[(channel > thresh[0]) & (channel <= thresh[1])] = 1 return binary_output ``` ``` s_thresh = utils.hls_select(img,channel='s',thresh=(180, 255)) ``` ![alt text][image6] 可以看到在路面颜色相对较浅且车道线颜色为黄色的区域，车道线仍然被清晰的捕捉到了，然而在其他地方表现却不太理想(第四，第八张图片) 因此为了应对多变的路面情况，需要结合多种阈值过滤方法。 以下为最终的阈值过滤组合： ``` def thresholding(img): x_thresh = utils.abs_sobel_thresh(img, orient='x', thresh_min=10 ,thresh_max=230) mag_thresh = utils.mag_thresh(img, sobel_kernel=3, mag_thresh=(30, 150)) dir_thresh = utils.dir_threshold(img, sobel_kernel=3, thresh=(0.7, 1.3)) hls_thresh = utils.hls_select(img, thresh=(180, 255)) lab_thresh = utils.lab_select(img, thresh=(155, 200)) luv_thresh = utils.luv_select(img, thresh=(225, 255)) #Thresholding combination threshholded = np.zeros_like(x_thresh) threshholded[((x_thresh == 1) & (mag_thresh == 1)) |