由rvest函数包配合Selector Gadget工具实现R语言在网页信息爬取上的应用这个方法, 与采用XML包和RCurl包进行爬取相比, 更加简单, 代码更加简洁直观。R中的rvest包将原本复杂的网页爬虫工作压缩到读取网页, 检索网页和提取文本, 使其变得非常简单, 而且根据网页的规律, 运用for () 循环函数进行实现多张网页的信息爬取。而使用XML包和RCurl包进行实现, 则需要一些关于网页的基础知识, 模拟浏览器行为伪装报头, 接着访问页面解析网页, 然后定位节点获取信息, 最后再将信息整合起来。该方法更为困难繁琐, 在访问网页时有时并不能顺利读取解析, 并且在选取节点的时候需要HTML的基础知识, 在网页源代码中找寻, 有些网页的源代码相当复杂, 并不易于定位节点。
两种实现的方法所能达到的效果基本大同小异, 而且利用for () 循环函数可以实现多网页数据的爬取, 从上手角度上讲, rvest包显示是更胜一筹, 是XML包和RCurl包的进化, 更加简洁方便。而除此之外, 用Python实现网络爬虫也是很受欢迎。Python的pandas模块工具借鉴了R的dataframes, 而R中的rvest包则参考了Python的Beautiful Soup, 两种语言在一定程度上存在互补性。Python在实现网络爬虫上更有优势, 但就网页数据爬取方面而言, 基于R语言工具进行实现, 更加简洁方便, 而且R在统计分析上是一种更高效的独立数据分析工具, 运用R语言获取的数据避免了平台环境转换的繁琐, 从数据获取、数据清洗到数据分析, 代码环境、平台保持了一致性。
本文地址：https://www.hy755.cn//article/20719.html
