将string类型的数据类型转换为spark rdd时报错的解决方法


Posted in Python onFebruary 18, 2019

在将string类型的数据类型转换为spark rdd时,一直报这个错,StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料,问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case,终于把问题解决。记录一下!

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是,将sc.parallelize([list0])中的list0再转成一个整体list,问题即可解决。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python操作json数据的一个简单例子
Apr 17 Python
Django框架中数据的连锁查询和限制返回数据的方法
Jul 17 Python
使用python在本地电脑上快速处理数据
Jun 22 Python
python字符串过滤性能比较5种方法
Jun 22 Python
Python3+django2.0+apache2+ubuntu14部署网站上线的方法
Jul 07 Python
linux安装Python3.4.2的操作方法
Sep 28 Python
Python 正则表达式匹配字符串中的http链接方法
Dec 25 Python
Python实现的矩阵转置与矩阵相乘运算示例
Mar 26 Python
django列表筛选功能的实现代码
Mar 27 Python
python更新数据库中某个字段的数据(方法详解)
Nov 18 Python
Python实现钉钉/企业微信自动打卡的示例代码
Feb 02 Python
OpenCV全景图像拼接的实现示例
Jun 05 Python
对Python3使运行暂停的方法详解
Feb 18 #Python
解决python线程卡死的问题
Feb 18 #Python
Python中时间datetime的处理与转换用法总结
Feb 18 #Python
对python中的try、except、finally 执行顺序详解
Feb 18 #Python
python调用matlab的m自定义函数方法
Feb 18 #Python
在Python文件中指定Python解释器的方法
Feb 18 #Python
Python字符串逆序的实现方法【一题多解】
Feb 18 #Python
You might like
转PHP手册及PHP编程标准
2006/12/17 PHP
php 模拟get_headers函数的代码示例
2013/04/27 PHP
PHP rawurlencode与urlencode函数的深入分析
2013/06/08 PHP
js 键盘记录实现(兼容FireFox和IE)
2010/02/07 Javascript
风吟的小型JavaScirpt库 (FY.JS).
2010/03/09 Javascript
js中设置元素class的三种方法小结
2011/08/28 Javascript
angularjs的一些优化小技巧
2014/12/06 Javascript
JavaScript实现移动端滑动选择日期功能
2016/06/21 Javascript
JS实现将数字金额转换为大写人民币汉字的方法
2016/08/02 Javascript
AngularJS入门教程之Cookies读写操作示例
2016/11/02 Javascript
前端JS面试中常见的算法问题总结
2016/12/23 Javascript
使用async-validator编写Form组件的方法
2018/01/10 Javascript
Element-ui table中过滤条件变更表格内容的方法
2018/03/02 Javascript
js嵌套的数组扁平化:将多维数组变成一维数组以及push()与concat()区别的讲解
2019/01/19 Javascript
axios异步提交表单数据的几种方法
2019/08/11 Javascript
Python实现CET查分的方法
2015/03/10 Python
Python的Django框架中从url中捕捉文本的方法
2015/07/20 Python
解读Django框架中的低层次缓存API
2015/07/24 Python
python基础教程之分支、循环简单用法
2016/06/16 Python
完美解决Pycharm无法导入包的问题 Unresolved reference
2018/05/18 Python
教你利用Python玩转histogram直方图的五种方法
2018/07/30 Python
关于Pycharm无法debug问题的总结
2019/01/19 Python
使用PyQt4 设置TextEdit背景的方法
2019/06/14 Python
Django REST框架创建一个简单的Api实例讲解
2019/11/05 Python
Python3.8安装Pygame教程步骤详解
2020/08/14 Python
Python如何把字典写入到CSV文件的方法示例
2020/08/23 Python
详解HTML5中表单验证的8种方法介绍
2016/12/19 HTML / CSS
北美大型运动类产品商城:Champs Sports
2017/01/12 全球购物
AMAVII眼镜官网:时尚和设计师太阳镜
2019/05/05 全球购物
自荐书范文
2013/12/08 职场文书
学校地质灾害防治方案
2014/06/10 职场文书
2014领导班子专题民主生活会对照检查材料思想汇报
2014/09/23 职场文书
运动会3000米加油稿
2015/07/21 职场文书
安全事故隐患排查治理制度
2015/08/05 职场文书
JavaScript实现栈结构详细过程
2021/12/06 Javascript
ConditionalOnProperty配置swagger不生效问题及解决
2022/06/14 Java/Android