本文档介绍PaaS数据流中数据结构变换规则，并展示相关数据样例。
注意
数据结构变换核心规则如下：
Source默认将读到的数据加载至doc字段
Sink默认将doc字段内的数据作为消息队列/数据库的内容
以下将展示数据流中数据结构变换样例，本过程中使用的operator转换规则示例如下
drop doc.consume_timeassign key => $doc.post_idassign doc.source => $source_name
{ "msg_id":"02171499680104800000000000000000000ffff0a914468a947441273insight_source", "item_doc":{ "post_id":"12731485214269347960", "publish_time":"2024-05-06 19:59:17", "create_time":"2024-05-06 19:59:52", "main_domain":"douyin.com", "url":"https://www.douyin.com/share/video/7365854945846791450", "consume_time":"2024-05-06 20:00:01", "push_ready_time":"2024-05-06 19:59:59", "domain":"www.douyin.com", "video_info":{ "cover_info":{ "online_url":"https://p6-dy-ipv6.byteimg.com/obj/tos-cn-p-0015/oQI4IBAqexyHAvzzvfITNRtJTLPAyhigNDGhB5", "cover_ocr":"忘记 平 讨好自己 管地几岁 开心万岁 用奔欢的方式生活", "cover_ocr_details":[ { "text":"忘记", "is_scene":0, "is_high":1 }, { "text":"平", "is_scene":0, "is_high":1 }, { "text":"讨好自己", "is_scene":0, "is_high":1 }, { "text":"管地几岁", "is_scene":0, "is_high":1 }, { "text":"开心万岁", "is_scene":0, "is_high":1 }, { "text":"用奔欢的方式生活", "is_scene":0, "is_high":1 } ] }, "duration":71.332 }, "status":1, "is_ad":0, "update_time":"2024-05-06 19:59:51", "feature":{ "sentiment":1, "asr":"", "match_count":1, "ocr":"幸珍 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记福 忘 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|记记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|艳场 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|幸记人 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|辛记药 忘 讨好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|幸记山 忘 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨 我多么希望我们能再相聚 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计 我多么希望我们能再相聚 管她几岁 开心方岁 用喜欢的方式生活|记 忘 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|和韵 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘 年记 药 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记心 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记山 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活", "is_sensitive":false, "match_id":"", "tags":[ "owls_snapshot" ], "label_tags":null, "event_id":"", "risk_scene":{ }, "kg_entity_link":[ ], "event_name":"", "ocr_details":[ ], "ocr_high":"" }, "post_type":10, "first_public_time":"2024-05-06 19:59:52", "create_status":true, "poi":{ "poi_location":{ "region":"", "province":"", "city":"", "district":"", "town":"", "region_code":"", "province_code":"", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":0, "province_geo_id":0, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"" } }, "origin_id":"7365854945846791450", "matched_task_ids":[ 0 ], "based_location":{ "public_location":{ "region":"中华人民共和国", "province":"黑龙江省", "city":"", "district":"", "town":"", "region_code":"CN", "province_code":"23", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":1814991, "province_geo_id":2036965, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"中华人民共和国黑龙江省" } }, "anchor":{ "filter_status":false }, "update_category":"status_update" } }
注意
Source节点加载洞察数据时，会对数据结构做固定结构调整。转换规则如下
assign msg_id => $doc.msg_id
assign doc => $doc.item_doc
洞察数据的row_key默认取doc.msg_id
{ "row_key":"02171499680104800000000000000000000ffff0a914468a947441273insight_source", "log_id":"20240507154215172017128097206DA25", "retry_times":0, "source_name":"insight_source", "msg_id":"02171499680104800000000000000000000ffff0a914468a947441273insight_source", "doc":{ "post_id":"12731485214269347960", "publish_time":"2024-05-06 19:59:17", "create_time":"2024-05-06 19:59:52", "main_domain":"douyin.com", "url":"https://www.douyin.com/share/video/7365854945846791450", "consume_time":"2024-05-06 20:00:01", "push_ready_time":"2024-05-06 19:59:59", "domain":"www.douyin.com", "video_info":{ "cover_info":{ "online_url":"https://p6-dy-ipv6.byteimg.com/obj/tos-cn-p-0015/oQI4IBAqexyHAvzzvfITNRtJTLPAyhigNDGhB5", "cover_ocr":"忘记 平 讨好自己 管地几岁 开心万岁 用奔欢的方式生活", "cover_ocr_details":[ { "text":"忘记", "is_scene":0, "is_high":1 }, { "text":"平", "is_scene":0, "is_high":1 }, { "text":"讨好自己", "is_scene":0, "is_high":1 }, { "text":"管地几岁", "is_scene":0, "is_high":1 }, { "text":"开心万岁", "is_scene":0, "is_high":1 }, { "text":"用奔欢的方式生活", "is_scene":0, "is_high":1 } ] }, "duration":71.332 }, "status":1, "is_ad":0, "update_time":"2024-05-06 19:59:51", "feature":{ "sentiment":1, "asr":"", "match_count":1, "ocr":"幸珍 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记福 忘 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|记记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|艳场 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|幸记人 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|辛记药 忘 讨好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|幸记山 忘 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨 我多么希望我们能再相聚 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计 我多么希望我们能再相聚 管她几岁 开心方岁 用喜欢的方式生活|记 忘 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|和韵 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘 年记 药 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记心 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记山 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活", "is_sensitive":false, "match_id":"", "tags":[ "owls_snapshot" ], "label_tags":null, "event_id":"", "risk_scene":{ }, "kg_entity_link":[ ], "event_name":"", "ocr_details":[ ], "ocr_high":"" }, "post_type":10, "first_public_time":"2024-05-06 19:59:52", "create_status":true, "poi":{ "poi_location":{ "region":"", "province":"", "city":"", "district":"", "town":"", "region_code":"", "province_code":"", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":0, "province_geo_id":0, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"" } }, "origin_id":"7365854945846791450", "matched_task_ids":[ 0 ], "based_location":{ "public_location":{ "region":"中华人民共和国", "province":"黑龙江省", "city":"", "district":"", "town":"", "region_code":"CN", "province_code":"23", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":1814991, "province_geo_id":2036965, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"中华人民共和国黑龙江省" } }, "anchor":{ "filter_status":false }, "update_category":"status_update" } }
{ "row_key":"02171499680104800000000000000000000ffff0a914468a947441273insight_source", "log_id":"20240507154215172017128097206DA25", "retry_times":0, "source_name":"insight_source", "msg_id":"02171499680104800000000000000000000ffff0a914468a947441273insight_source", "key":"12731485214269347960", "doc":{ "source":"insight_source", "post_id":"12731485214269347960", "publish_time":"2024-05-06 19:59:17", "create_time":"2024-05-06 19:59:52", "main_domain":"douyin.com", "url":"https://www.douyin.com/share/video/7365854945846791450", "consume_time":"2024-05-06 20:00:01", "push_ready_time":"2024-05-06 19:59:59", "domain":"www.douyin.com", "video_info":{ "cover_info":{ "online_url":"https://p6-dy-ipv6.byteimg.com/obj/tos-cn-p-0015/oQI4IBAqexyHAvzzvfITNRtJTLPAyhigNDGhB5", "cover_ocr":"忘记 平 讨好自己 管地几岁 开心万岁 用奔欢的方式生活", "cover_ocr_details":[ { "text":"忘记", "is_scene":0, "is_high":1 }, { "text":"平", "is_scene":0, "is_high":1 }, { "text":"讨好自己", "is_scene":0, "is_high":1 }, { "text":"管地几岁", "is_scene":0, "is_high":1 }, { "text":"开心万岁", "is_scene":0, "is_high":1 }, { "text":"用奔欢的方式生活", "is_scene":0, "is_high":1 } ] }, "duration":71.332 }, "status":1, "is_ad":0, "update_time":"2024-05-06 19:59:51", "feature":{ "sentiment":1, "asr":"", "match_count":1, "ocr":"幸珍 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记福 忘 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|记记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|艳场 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|幸记人 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|辛记药 忘 讨好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|幸记山 忘 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨 我多么希望我们能再相聚 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计 我多么希望我们能再相聚 管她几岁 开心方岁 用喜欢的方式生活|记 忘 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|和韵 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘 年记 药 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记心 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记山 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活", "is_sensitive":false, "match_id":"", "tags":[ "owls_snapshot" ], "label_tags":null, "event_id":"", "risk_scene":{ }, "kg_entity_link":[ ], "event_name":"", "ocr_details":[ ], "ocr_high":"" }, "post_type":10, "first_public_time":"2024-05-06 19:59:52", "create_status":true, "poi":{ "poi_location":{ "region":"", "province":"", "city":"", "district":"", "town":"", "region_code":"", "province_code":"", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":0, "province_geo_id":0, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"" } }, "origin_id":"7365854945846791450", "matched_task_ids":[ 0 ], "based_location":{ "public_location":{ "region":"中华人民共和国", "province":"黑龙江省", "city":"", "district":"", "town":"", "region_code":"CN", "province_code":"23", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":1814991, "province_geo_id":2036965, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"中华人民共和国黑龙江省" } }, "anchor":{ "filter_status":false }, "update_category":"status_update" } }
写入消息队列或存入数据库的数据结构，即doc字段
{ "source":"insight_source", "post_id":"12731485214269347960", "publish_time":"2024-05-06 19:59:17", "create_time":"2024-05-06 19:59:52", "main_domain":"douyin.com", "url":"https://www.douyin.com/share/video/7365854945846791450", "push_ready_time":"2024-05-06 19:59:59", "domain":"www.douyin.com", "video_info":{ "cover_info":{ "online_url":"https://p6-dy-ipv6.byteimg.com/obj/tos-cn-p-0015/oQI4IBAqexyHAvzzvfITNRtJTLPAyhigNDGhB5", "cover_ocr":"忘记 平 讨好自己 管地几岁 开心万岁 用奔欢的方式生活", "cover_ocr_details":[ { "text":"忘记", "is_scene":0, "is_high":1 }, { "text":"平", "is_scene":0, "is_high":1 }, { "text":"讨好自己", "is_scene":0, "is_high":1 }, { "text":"管地几岁", "is_scene":0, "is_high":1 }, { "text":"开心万岁", "is_scene":0, "is_high":1 }, { "text":"用奔欢的方式生活", "is_scene":0, "is_high":1 } ] }, "duration":71.332 }, "status":1, "is_ad":0, "update_time":"2024-05-06 19:59:51", "feature":{ "sentiment":1, "asr":"", "match_count":1, "ocr":"幸珍 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记福 忘 讨好自己燃一根烟 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我的心像吐出的烟圈 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨好自己倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|幸记药 忘 讨好自倒满一杯酒 管她几岁 开心万岁 用喜欢的方式生活|记记药 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|艳场 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|幸记人 忘 计好你的脸像苹果般娇艳 管她几岁 开心万岁 用喜欢的方式生活|记 忘 年龄 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 计好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|辛记药 忘 讨好我多么希望你不曾离去 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|幸记山 忘 计好我多么希望爱情再继续 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 讨 我多么希望我们能再相聚 管她几岁 开心万岁 用喜欢的方式生活|忘 记 年龄 计 我多么希望我们能再相聚 管她几岁 开心方岁 用喜欢的方式生活|记 忘 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 我多么希望我多么希望能再遇见你 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|和韵 忘 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘 年记 药 每当走过这一条街道我在找寻你 管她几岁 开心万岁 用喜欢的方式生活|忘记 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记心 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|幸记 忘 讨好自己 管她几岁 开心万岁 用喜欢的方式生活|忘记山 年龄 讨好自己 管她几岁 开心万岁 用喜欢的方式生活", "is_sensitive":false, "match_id":"", "tags":[ "owls_snapshot" ], "label_tags":null, "event_id":"", "risk_scene":{}, "kg_entity_link":[], "event_name":"", "ocr_details":[], "ocr_high":"" }, "post_type":10, "first_public_time":"2024-05-06 19:59:52", "create_status":true, "poi":{ "poi_location":{ "region":"", "province":"", "city":"", "district":"", "town":"", "region_code":"", "province_code":"", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":0, "province_geo_id":0, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"" } }, "origin_id":"7365854945846791450", "matched_task_ids":[ 0 ], "based_location":{ "public_location":{ "region":"中华人民共和国", "province":"黑龙江省", "city":"", "district":"", "town":"", "region_code":"CN", "province_code":"23", "city_code":"", "district_code":"", "town_code":"", "region_geo_id":1814991, "province_geo_id":2036965, "city_geo_id":0, "district_geo_id":0, "town_geo_id":0, "location":"中华人民共和国黑龙江省" } }, "anchor":{ "filter_status":false }, "update_category":"status_update" }
数据结构支持自定义，以下样例仅做参考
{ "post_id":"12731485214269347960", "consume_time":"2024-05-06 20:00:01", "randomKey1": "ssddvisdvb", "randomKey2": 2, "randomKey3": 4.8, "randomeKey4": { "key1": "sdvdfs", "key2": "fdvfbgb" } }
{ "row_key":"", "log_id":"20240507154215172017128097206DA25", "retry_times":0, "source_name":"my_kafka_source", "doc":{ "post_id":"12731485214269347960", "consume_time":"2024-05-06 20:00:01", "randomKey1": "ssddvisdvb", "randomKey2": 2, "randomKey3": 4.8, "randomeKey4": { "key1": "sdvdfs", "key2": "fdvfbgb" } }
{ "row_key":"", "log_id":"20240507154215172017128097206DA25", "retry_times":0, "source_name":"my_kafka_source", "key":"12731485214269347960", "doc":{ "source":"my_kafka_source", "post_id":"12731485214269347960", "consume_time":"2024-05-06 20:00:01", "randomKey1": "ssddvisdvb", "randomKey2": 2, "randomKey3": 4.8, "randomeKey4": { "key1": "sdvdfs", "key2": "fdvfbgb" } } }
写入消息队列或存入数据库的数据结构，即doc字段
{ "source":"my_kafka_source", "post_id":"12731485214269347960", "randomKey1": "ssddvisdvb", "randomKey2": 2, "randomKey3": 4.8, "randomeKey4": { "key1": "sdvdfs", "key2": "fdvfbgb" } }